FeedForward Neural Network (FNN)이란 무엇인가?

1. FNN의 정의

FNN(Feedforward Neural Network)은
입력층(Input Layer) → 은닉층(Hidden Layer) → 출력층(Output Layer)으로 이어지는
단방향(Feedforward) 정보 흐름을 가지는 신경망 구조이다.

핵심 특징은 다음과 같다.

• 정보가 한 방향으로만 흐름 (뒤로 되돌아가지 않음)
• 순환 구조(recurrent connection)가 없음
• 가장 기본적인 형태의 인공신경망

즉, FNN은 모든 딥러닝 모델의 기초가 되는 표준 구조이다.

---

2. 직관적 이해

FNN을 “함수”로 이해하는 것이 가장 정확하다.

입력 x가 들어오면,
여러 단계의 변환을 거쳐
최종 출력 y를 만드는 구조이다.

즉,

입력 → 계산 → 계산 → 계산 → 출력

이 과정을 반복하는 다층 함수라고 볼 수 있다.

 

3. 구조

신경망 학습은 다음 4단계로 구성된다.

1. Forward Propagation
2. Loss 계산
3. Backpropagation
4. Weight Update

FNN은 다음 3가지 계층으로 구성된다.

3.1 입력층 (Input Layer)

• 데이터를 그대로 받아들이는 층
• 연산 없음 (단순 전달)

예:
이미지 → 픽셀 값
텍스트 → 임베딩 벡터

---

3.2 은닉층 (Hidden Layer)

• 실제 연산이 이루어지는 핵심 부분
• 여러 층으로 구성 가능 (깊어질수록 DNN)

각 뉴런은 다음 연산을 수행한다.

y=f(Wx+b)y = f(Wx + b)y=f(Wx+b)

구성:

• W: 가중치
• b: 편향
• f: 활성화 함수 (ReLU, sigmoid 등)

---

3.3 출력층 (Output Layer)

• 최종 결과를 생성

예:

• 분류 → softmax
• 회귀 → 선형 출력

---

4. 동작 원리 (Forward Propagation)

FNN의 핵심은 Forward Propagation이다.

과정:

1. 입력 x를 첫 번째 층에 전달
2. 가중치와 곱하고 bias 더함
3. 활성화 함수 적용
4. 다음 층으로 전달
5. 출력층까지 반복

결과적으로 입력은 여러 번의 변환을 거쳐
더 추상적인 표현으로 변환된다.

---

5. 학습 원리 (Backpropagation)

FNN은 단순히 계산만 하는 것이 아니라 학습을 한다.

5.1 목표

• 예측값과 실제값의 차이(loss)를 최소화

5.2 과정

1. 출력 계산
2. 손실(loss) 계산
3. 오차를 뒤로 전파 (backpropagation)
4. 가중치 업데이트

핵심 아이디어:

• 출력에서 발생한 오차를 거꾸로 전달하여
• 각 가중치가 얼마나 잘못되었는지 계산

---

6. 활성화 함수의 역할

FNN에서 활성화 함수는 매우 중요하다.

이유:

• 선형 변환만 하면 결국 전체가 하나의 선형 함수가 됨
• 비선형성을 추가해야 복잡한 문제 해결 가능

대표 함수:

• ReLU: max(0, x)
• Sigmoid: 0~1 출력
• Tanh: -1~1 출력

---

7. FNN의 특징

7.1 장점

• 구조가 단순하고 이해하기 쉬움
• 다양한 문제에 적용 가능
• 이론적으로 모든 함수 근사 가능 (Universal Approximation)

---

7.2 한계

• 공간 구조를 활용하지 못함 (이미지에 비효율적)
• 시간/순서 정보 처리 불가
• 파라미터 수 많음 (Fully Connected)

---

8. CNN, RNN, Transformer와의 관계

FNN은 모든 신경망의 기본 구조이다.

각 모델과의 관계:

• CNN → FNN + Convolution 구조 추가
• RNN → FNN + 순환 구조 추가
• Transformer → FNN + Attention 구조 추가

특히 Transformer에서도 FFN이 중요한 구성 요소로 사용된다.

---

9. 직관적 비유

FNN을 공장으로 보면 다음과 같다.

• 입력층: 원재료 투입
• 은닉층: 가공 과정 (여러 단계)
• 출력층: 완성된 제품

각 단계에서 재료가 조금씩 가공되며
최종 결과가 만들어진다.

---

10. 핵심 요약

• FNN은 가장 기본적인 신경망 구조
• 입력 → 은닉층 → 출력으로 단방향 흐름
• 각 층은 선형 변환 + 비선형 활성화로 구성
• Forward Propagation으로 출력 생성
• Backpropagation으로 학습 수행
• 모든 딥러닝 모델의 기초가 되는 구조

---

11. 한 줄 정리

FNN은
“입력을 여러 단계의 함수 변환을 통해 출력으로 매핑하는 가장 기본적인 신경망”이다.