AL,ML 학부연구생/공부 기록

인공 신경망 종류와 각 의미

김형준 2026. 3. 23. 17:03
반응형

DNN ( Deep Neural Network) 의 구조 

 

  • Feedforward 기반
    • CNN
    • ResNet
  • Sequence/Temporal 모델
    • RNN
    • LSTM
    • GRU
  • Attention 기반 모델
    • Transformer
    • BERT / GPT
  • 생성 모델 (Generative Model)
    • GAN

 

2. 개별 모델 상세 설명

2.1 CNN (Convolutional Neural Network)

분류: Feedforward Neural Network 계열 (특히 이미지 처리 특화)

정의:

  • 합성곱(Convolution) 연산을 사용하여 입력 데이터의 **공간적 특징(spatial feature)**을 추출하는 신경망

핵심 특징:

  • 필터(커널)를 이용한 특징 추출
  • 이미지의 지역 패턴 (edge, texture 등) 인식
  • 파라미터 공유 → 연산 효율성 증가

사용 분야:

  • 이미지 분류
  • 객체 탐지
  • 영상 처리

2.2 ResNet (Residual Network)

분류: CNN의 확장 구조

정의:

  • 깊은 신경망에서 발생하는 gradient vanishing 문제를 해결하기 위해 skip connection(잔차 연결)을 도입한 CNN

핵심 특징:

  • 입력을 출력에 직접 더하는 구조 (Residual Learning)
  • 매우 깊은 네트워크 학습 가능

수식 개념:

  • H(x) = F(x) + x

의미:

  • 기존 함수 대신 “잔차(F(x))”를 학습

2.3 RNN (Recurrent Neural Network)

분류: Sequence 모델

정의:

  • 이전 시점의 정보를 현재 계산에 반영하는 순환 구조를 가진 신경망

핵심 특징:

  • 시간적 의존성 modeling 가능
  • hidden state를 통해 정보 전달

한계:

  • long-term dependency 문제
  • gradient vanishing/exploding

사용 분야:

  • 자연어 처리
  • 시계열 데이터 분석

2.4 LSTM (Long Short-Term Memory)

분류: RNN의 개선 모델

정의:

  • RNN의 장기 의존성 문제를 해결하기 위해 게이트 구조를 도입한 모델

핵심 구성:

  • Forget gate
  • Input gate
  • Output gate

특징:

  • 중요한 정보는 유지, 불필요 정보는 제거
  • 긴 시퀀스에서도 안정적인 학습 가능

2.5 GRU (Gated Recurrent Unit)

분류: RNN의 경량화 개선 모델

정의:

  • LSTM을 단순화한 구조로, fewer gate를 사용하여 계산 효율을 개선한 모델

구성:

  • Update gate
  • Reset gate

특징:

  • LSTM보다 구조 단순
  • 학습 속도 빠름
  • 성능은 유사한 경우 많음

2.6 Transformer

분류: Attention 기반 모델

정의:

  • RNN 없이 Self-Attention 메커니즘만으로 시퀀스를 처리하는 모델

핵심 구조:

  • Self-Attention
  • Multi-head Attention
  • Positional Encoding

특징:

  • 병렬 처리 가능 (속도 빠름)
  • 장기 의존성 처리 우수

의의:

  • 현대 NLP의 핵심 구조

2.7 BERT / GPT

분류: Transformer 기반 응용 모델

BERT (Bidirectional Encoder Representations from Transformers)

  • Transformer Encoder 기반
  • 양방향 문맥 이해

특징:

  • 문장 전체를 동시에 고려
  • 이해(Understanding) 중심 모델

GPT (Generative Pre-trained Transformer)

  • Transformer Decoder 기반
  • 단방향 (left-to-right) 생성 모델

특징:

  • 텍스트 생성 특화
  • 언어 모델링에 강점

2.8 GAN (Generative Adversarial Network)

분류: 생성 모델 (Generative Model)

정의:

  • 두 개의 네트워크가 경쟁하며 학습하는 구조

구성:

  • Generator (생성자)
  • Discriminator (판별자)

학습 방식:

  • Generator: 가짜 데이터를 생성
  • Discriminator: 진짜/가짜 구분

특징:

  • 매우 현실적인 데이터 생성 가능

사용 분야:

  • 이미지 생성
  • 스타일 변환
  • 데이터 증강

3. 정리

각 모델의 핵심 분류는 다음과 같다.

  • CNN / ResNet → 공간 정보 처리 (이미지 중심)
  • RNN / LSTM / GRU → 시간/순서 정보 처리
  • Transformer / BERT / GPT → Attention 기반 고성능 시퀀스 모델
  • GAN → 데이터 생성 모델

 

 

 

 

 

반응형