인공 신경망 종류와 각 의미

DNN ( Deep Neural Network) 의 구조 

 

• Feedforward 기반
  • CNN
  • ResNet
• Sequence/Temporal 모델
  • RNN
  • LSTM
  • GRU
• Attention 기반 모델
  • Transformer
  • BERT / GPT
• 생성 모델 (Generative Model)
  • GAN

 

2. 개별 모델 상세 설명

2.1 CNN (Convolutional Neural Network)

분류: Feedforward Neural Network 계열 (특히 이미지 처리 특화)

정의:

• 합성곱(Convolution) 연산을 사용하여 입력 데이터의 **공간적 특징(spatial feature)**을 추출하는 신경망

핵심 특징:

• 필터(커널)를 이용한 특징 추출
• 이미지의 지역 패턴 (edge, texture 등) 인식
• 파라미터 공유 → 연산 효율성 증가

사용 분야:

• 이미지 분류
• 객체 탐지
• 영상 처리

---

2.2 ResNet (Residual Network)

분류: CNN의 확장 구조

정의:

• 깊은 신경망에서 발생하는 gradient vanishing 문제를 해결하기 위해 skip connection(잔차 연결)을 도입한 CNN

핵심 특징:

• 입력을 출력에 직접 더하는 구조 (Residual Learning)
• 매우 깊은 네트워크 학습 가능

수식 개념:

• H(x) = F(x) + x

의미:

• 기존 함수 대신 “잔차(F(x))”를 학습

---

2.3 RNN (Recurrent Neural Network)

분류: Sequence 모델

정의:

• 이전 시점의 정보를 현재 계산에 반영하는 순환 구조를 가진 신경망

핵심 특징:

• 시간적 의존성 modeling 가능
• hidden state를 통해 정보 전달

한계:

• long-term dependency 문제
• gradient vanishing/exploding

사용 분야:

• 자연어 처리
• 시계열 데이터 분석

---

2.4 LSTM (Long Short-Term Memory)

분류: RNN의 개선 모델

정의:

• RNN의 장기 의존성 문제를 해결하기 위해 게이트 구조를 도입한 모델

핵심 구성:

• Forget gate
• Input gate
• Output gate

특징:

• 중요한 정보는 유지, 불필요 정보는 제거
• 긴 시퀀스에서도 안정적인 학습 가능

---

2.5 GRU (Gated Recurrent Unit)

분류: RNN의 경량화 개선 모델

정의:

• LSTM을 단순화한 구조로, fewer gate를 사용하여 계산 효율을 개선한 모델

구성:

• Update gate
• Reset gate

특징:

• LSTM보다 구조 단순
• 학습 속도 빠름
• 성능은 유사한 경우 많음

---

2.6 Transformer

분류: Attention 기반 모델

정의:

• RNN 없이 Self-Attention 메커니즘만으로 시퀀스를 처리하는 모델

핵심 구조:

• Self-Attention
• Multi-head Attention
• Positional Encoding

특징:

• 병렬 처리 가능 (속도 빠름)
• 장기 의존성 처리 우수

의의:

• 현대 NLP의 핵심 구조

---

2.7 BERT / GPT

분류: Transformer 기반 응용 모델

BERT (Bidirectional Encoder Representations from Transformers)

• Transformer Encoder 기반
• 양방향 문맥 이해

특징:

• 문장 전체를 동시에 고려
• 이해(Understanding) 중심 모델

---

GPT (Generative Pre-trained Transformer)

• Transformer Decoder 기반
• 단방향 (left-to-right) 생성 모델

특징:

• 텍스트 생성 특화
• 언어 모델링에 강점

---

2.8 GAN (Generative Adversarial Network)

분류: 생성 모델 (Generative Model)

정의:

• 두 개의 네트워크가 경쟁하며 학습하는 구조

구성:

• Generator (생성자)
• Discriminator (판별자)

학습 방식:

• Generator: 가짜 데이터를 생성
• Discriminator: 진짜/가짜 구분

특징:

• 매우 현실적인 데이터 생성 가능

사용 분야:

• 이미지 생성
• 스타일 변환
• 데이터 증강

---

3. 정리

각 모델의 핵심 분류는 다음과 같다.

• CNN / ResNet → 공간 정보 처리 (이미지 중심)
• RNN / LSTM / GRU → 시간/순서 정보 처리
• Transformer / BERT / GPT → Attention 기반 고성능 시퀀스 모델
• GAN → 데이터 생성 모델