김형준의 개발자 블로그

26년 인턴준비 SQL

김형준 — Fri, 24 Jul 2026 11:32:04 +0900

1. 면접관이 말한 “SQL을 1주일 공부해 오라”의 의미

기업이 요구한 것은 SQLD 시험을 다시 공부하라는 의미보다는, 실제 데이터베이스에서 데이터를 조회하고 검증할 수 있을 정도로 SQL을 직접 작성해 보라는 의미입니다.

따라서 면접관이 기대하는 수준은 다음과 같습니다.

“SQL 문법을 알고 있는가?”가 아니라
“테이블 구조를 보고 필요한 데이터를 추출하고, 이상 여부를 확인하며, 결과가 맞는지 검증할 수 있는가?”

2. 공부해야 할 내용의 우선순위

1순위. 기본 조회문을 자유롭게 작성하기

SQLD 자격증이 있다면 개념은 이미 알고 있을 가능성이 높습니다. 다만 면접에서는 문법 설명보다 직접 작성 능력이 중요합니다.

반드시 익혀야 하는 내용은 다음과 같습니다.

SELECT
FROM
WHERE
ORDER BY
LIMIT
DISTINCT

다음 조건을 바로 작성할 수 있어야 합니다.

SELECT user_id, product_id, score
FROM recommendations
WHERE score >= 0.8
ORDER BY score DESC
LIMIT 100;

공부 포인트는 다음과 같습니다.

필요한 열만 선택하기
여러 조건을 AND, OR, IN, BETWEEN으로 표현하기
날짜 범위로 데이터 조회하기
중복값 제거하기
상위 또는 하위 데이터 추출하기

2순위. JOIN

실무 SQL에서 가장 중요합니다. 인텔리시스처럼 사용자, 상품, 추천 결과, 콘텐츠 등의 데이터를 다루는 회사에서는 여러 테이블을 결합하는 작업이 빈번할 가능성이 높습니다.

반드시 구분해야 합니다.

INNER JOIN
LEFT JOIN

예시는 다음과 같습니다.

SELECT
    r.user_id,
    u.gender,
    r.product_id,
    p.category,
    r.score
FROM recommendations r
JOIN users u
    ON r.user_id = u.user_id
JOIN products p
    ON r.product_id = p.product_id;

특히 다음 질문에 답할 수 있어야 합니다.

INNER JOIN과 LEFT JOIN의 차이
JOIN 이후 행 수가 증가하는 이유
중복 키가 있을 때 데이터가 왜 불어나는지
매칭되지 않은 데이터를 어떻게 찾는지

매칭되지 않은 데이터는 다음처럼 확인합니다.

SELECT r.*
FROM recommendations r
LEFT JOIN products p
    ON r.product_id = p.product_id
WHERE p.product_id IS NULL;

이러한 쿼리는 추천 결과에 존재하지만 상품 DB에는 없는 상품 ID를 찾는 검증 작업에 사용할 수 있습니다.

3순위. 집계와 GROUP BY

AI 모델이나 추천 시스템의 결과를 검증할 때는 개별 데이터를 보는 것뿐 아니라 그룹별 통계를 계산해야 합니다.

필수 함수는 다음과 같습니다.

COUNT()
SUM()
AVG()
MIN()
MAX()
GROUP BY
HAVING

예시는 다음과 같습니다.

SELECT
    category,
    COUNT(*) AS recommendation_count,
    AVG(score) AS average_score
FROM recommendations
GROUP BY category
HAVING COUNT(*) >= 100;

다음 작업을 할 수 있어야 합니다.

사용자별 추천 개수
상품 카테고리별 추천 수
날짜별 생성 데이터 수
평균 추천 점수
중복 데이터 개수
특정 기준보다 데이터가 적은 그룹 확인

4순위. NULL, 중복값 및 데이터 이상 검증

면접에서 “검증 업무”를 언급했다면 가장 중요하게 볼 가능성이 높은 부분입니다.

NULL 확인

SELECT COUNT(*)
FROM products
WHERE category IS NULL;

중복 키 확인

SELECT
    product_id,
    COUNT(*) AS duplicate_count
FROM products
GROUP BY product_id
HAVING COUNT(*) > 1;

값의 범위 확인

SELECT *
FROM recommendations
WHERE score < 0
   OR score > 1;

참조 무결성 확인

SELECT r.*
FROM recommendations r
LEFT JOIN users u
    ON r.user_id = u.user_id
WHERE u.user_id IS NULL;

날짜 논리 오류 확인

SELECT *
FROM user_events
WHERE created_at > updated_at;

이 부분은 단순 SQL 문법보다 중요합니다. 면접에서는 다음과 같은 질문이 나올 수 있습니다.

추천 점수가 0에서 1 사이여야 하는데 일부 값이 범위를 벗어났다. 어떻게 찾겠는가?

상품 테이블에 존재하지 않는 상품 ID가 추천 결과에 포함되었는지 어떻게 확인하겠는가?

사용자별 추천 결과가 정확히 10개씩 생성되었는지 어떻게 확인하겠는가?

5순위. CASE WHEN

데이터를 조건별로 분류하거나 검증 결과를 표시할 때 사용합니다.

SELECT
    user_id,
    score,
    CASE
        WHEN score >= 0.8 THEN 'high'
        WHEN score >= 0.5 THEN 'medium'
        ELSE 'low'
    END AS score_level
FROM recommendations;

검증용으로는 다음과 같이 사용할 수 있습니다.

SELECT
    product_id,
    price,
    CASE
        WHEN price IS NULL THEN 'NULL 오류'
        WHEN price < 0 THEN '음수 오류'
        ELSE '정상'
    END AS validation_result
FROM products;

6순위. 서브쿼리와 CTE

복잡한 쿼리를 단계별로 구성할 수 있어야 합니다.

CTE는 WITH를 사용하는 방식입니다.

WITH user_counts AS (
    SELECT
        user_id,
        COUNT(*) AS recommendation_count
    FROM recommendations
    GROUP BY user_id
)
SELECT *
FROM user_counts
WHERE recommendation_count <> 10;

이 쿼리는 사용자별 추천 개수가 정확히 10개인지 검증합니다.

1주일 준비라면 복잡한 상관 서브쿼리까지 공부할 필요는 없지만, 다음은 알아야 합니다.

서브쿼리의 기본 구조
IN, EXISTS
WITH를 사용한 CTE
복잡한 쿼리를 단계별로 나누는 방법

7순위. 윈도우 함수

시간이 허용된다면 반드시 공부하는 것이 좋습니다. SQLD 기본 수준과 실무 SQL을 구분하는 대표적인 영역입니다.

필수 함수는 다음과 같습니다.

ROW_NUMBER()
RANK()
DENSE_RANK()
LAG()
LEAD()
SUM() OVER()
AVG() OVER()

사용자별 추천 순위를 계산하는 예시는 다음과 같습니다.

SELECT
    user_id,
    product_id,
    score,
    ROW_NUMBER() OVER (
        PARTITION BY user_id
        ORDER BY score DESC
    ) AS recommendation_rank
FROM recommendations;

사용자별 상위 5개 추천만 가져오려면 다음과 같이 작성합니다.

WITH ranked AS (
    SELECT
        user_id,
        product_id,
        score,
        ROW_NUMBER() OVER (
            PARTITION BY user_id
            ORDER BY score DESC
        ) AS rn
    FROM recommendations
)
SELECT *
FROM ranked
WHERE rn <= 5;

추천 시스템이나 데이터 검증 업무에서는 매우 유용합니다.

3. 실제로 나올 가능성이 높은 SQL 업무

해당 기업은 AI, 빅데이터, 추천 시스템, 기업용 데이터 분석 및 RAG 기반 솔루션을 개발하고 있습니다. 따라서 인턴 SQL 업무는 전통적인 회계 데이터 조회보다는 사용자, 상품, 문서, 추천 결과 및 모델 출력 데이터를 다루는 방향일 가능성이 높습니다.

예상 업무는 다음과 같습니다.

데이터 수집 결과 검증

수집된 상품 데이터 개수 확인
중복 상품 확인
누락된 필드 확인
비정상 가격 또는 카테고리 확인
수집 날짜별 데이터 증가량 확인

AI 또는 RAG 결과 검증

질문별 검색 문서 개수 확인
동일 문서 중복 검색 여부 확인
검색 점수 범위 확인
답변과 연결된 출처 문서 확인
데이터 생성 전후 결과 비교
모델 버전별 결과 차이 집계

데이터셋 생성 및 정제

학습용 데이터 추출
특정 기간 또는 조건의 데이터 필터링
사용자 및 상품 정보를 결합
학습, 검증, 테스트 데이터 분리
라벨별 데이터 개수 및 분포 확인

4. SQLD 보유자인 경우 부족할 가능성이 높은 부분

SQLD가 있다면 다음 내용은 이미 알고 있을 가능성이 높습니다.

관계형 데이터베이스 기본 개념
엔터티, 속성, 관계
정규화
기본 SQL 문법
JOIN과 서브쿼리의 개념
트랜잭션 및 인덱스 개념

그러나 실무에서는 다음 역량이 별도로 필요합니다.

첫째, 빈 화면에서 직접 쿼리를 작성하는 능력

선택지를 고르는 것과 직접 쿼리를 작성하는 것은 다릅니다. 문제를 읽고 바로 SELECT부터 작성하는 연습이 필요합니다.

둘째, 테이블 관계를 파악하는 능력

다음 구조를 보고 어떤 키로 JOIN해야 하는지 판단해야 합니다.

users
- user_id
- age
- gender

products
- product_id
- category
- price

recommendations
- user_id
- product_id
- score
- created_at

셋째, 결과가 맞는지 검증하는 능력

쿼리가 실행된다고 정답은 아닙니다.

예를 들어 JOIN 전 데이터가 1,000행인데 JOIN 후 50,000행이 나왔다면 다음을 의심해야 합니다.

JOIN 키가 잘못되었는가
한쪽 테이블에 중복 키가 있는가
다대다 관계가 발생했는가
JOIN 조건이 누락되었는가

넷째, 데이터 이상을 찾는 능력

실무에서는 정상 데이터를 조회하는 것보다 비정상 데이터를 찾는 SQL이 중요합니다.

WHERE column IS NULL
HAVING COUNT(*) > 1
WHERE score NOT BETWEEN 0 AND 1
LEFT JOIN ... WHERE joined_key IS NULL

이 패턴을 집중적으로 연습해야 합니다.

5. 1주일 학습 계획

1일 차: 기본 조회와 조건문

학습 내용:

SELECT, FROM, WHERE
AND, OR, NOT
IN, BETWEEN, LIKE
ORDER BY, LIMIT
DISTINCT
NULL 처리

목표:

하나의 테이블에서 필요한 데이터를 자유롭게 필터링할 수 있음

2일 차: GROUP BY와 집계함수

학습 내용:

COUNT, SUM, AVG, MIN, MAX
GROUP BY
HAVING
날짜별, 사용자별, 카테고리별 집계

목표:

데이터 분포와 이상치를 집계 쿼리로 확인할 수 있음

3일 차: JOIN 집중 연습

학습 내용:

INNER JOIN
LEFT JOIN
2개 및 3개 테이블 JOIN
미매칭 데이터 찾기
JOIN으로 행이 증가하는 원인

목표:

사용자, 상품 및 추천 결과 테이블을 결합할 수 있음

4일 차: 데이터 검증 SQL

학습 내용:

NULL 검사
중복값 검사
범위 오류 검사
참조 무결성 검사
레코드 개수 비교
데이터 전후 비교

목표:

정상 데이터를 조회하는 것이 아니라 오류 데이터를 찾아낼 수 있음

5일 차: CASE WHEN, 서브쿼리 및 CTE

학습 내용:

CASE WHEN
스칼라 및 일반 서브쿼리
IN, EXISTS
WITH CTE

목표:

복잡한 검증 조건을 단계별 SQL로 구성할 수 있음

6일 차: 윈도우 함수

학습 내용:

ROW_NUMBER
RANK
PARTITION BY
LAG, LEAD
사용자별 Top-N 추출

목표:

사용자별 추천 순위와 시점별 변화량을 계산할 수 있음

7일 차: 모의 과제 수행

다음과 같은 작은 프로젝트를 수행하는 것이 가장 좋습니다.

테이블:

users
products
recommendations
user_events

검증 항목:

사용자별 추천 개수가 10개인지 확인
동일 사용자에게 동일 상품이 중복 추천되었는지 확인
상품 테이블에 없는 상품이 추천되었는지 확인
추천 점수가 0에서 1을 벗어났는지 확인
카테고리별 평균 추천 점수 계산
사용자별 상위 3개 추천 추출
날짜별 추천 생성 건수 계산
전날 대비 추천 생성량 변화 계산

6. 실무 전에 반드시 풀어봐야 할 문제

문제 1

각 사용자별 추천 상품 개수를 구하십시오.

SELECT
    user_id,
    COUNT(*) AS recommendation_count
FROM recommendations
GROUP BY user_id;

문제 2

추천 상품이 10개가 아닌 사용자를 찾으십시오.

SELECT
    user_id,
    COUNT(*) AS recommendation_count
FROM recommendations
GROUP BY user_id
HAVING COUNT(*) <> 10;

문제 3

동일 사용자에게 동일 상품이 중복 추천된 경우를 찾으십시오.

SELECT
    user_id,
    product_id,
    COUNT(*) AS duplicate_count
FROM recommendations
GROUP BY user_id, product_id
HAVING COUNT(*) > 1;

문제 4

상품 테이블에 존재하지 않는 추천 상품을 찾으십시오.

SELECT r.*
FROM recommendations r
LEFT JOIN products p
    ON r.product_id = p.product_id
WHERE p.product_id IS NULL;

문제 5

사용자별 추천 점수 상위 3개 상품을 추출하십시오.

WITH ranked AS (
    SELECT
        user_id,
        product_id,
        score,
        ROW_NUMBER() OVER (
            PARTITION BY user_id
            ORDER BY score DESC
        ) AS rn
    FROM recommendations
)
SELECT *
FROM ranked
WHERE rn <= 3;

인덱스가 무엇이며, 인덱스가 조회 속도를 높이지만 쓰기 비용과 저장 공간을 증가시킨다는 정도는 설명할 수 있어야 합니다.

결론

현재 SQLD가 있다면 이론을 다시 처음부터 공부할 필요는 없습니다. 다음 세 가지에 집중하는 것이 가장 효율적입니다.

JOIN, GROUP BY 및 윈도우 함수를 직접 작성하는 연습
NULL, 중복, 범위 오류 및 미매칭 데이터를 찾는 검증 SQL
사용자, 상품 및 추천 결과로 구성된 작은 데이터베이스를 직접 조회하는 실습

면접관이 기대한 핵심은 고급 데이터베이스 전문가 수준이 아니라, 회사 데이터 구조를 이해하고 SQL로 데이터를 추출·정제·검증할 수 있는 기본 실무 역량으로 판단됩니다.

26년 여름 인턴 준비 리스트

김형준 — Fri, 24 Jul 2026 11:27:54 +0900

1. AI Agent

순위	요구 지식	이유
1	Python 기초	Agent와 Tool을 함수 및 클래스로 구현
2	API 및 JSON	외부 서비스와 LLM을 연결
3	LLM 기본 원리	모델의 한계와 응답 특성 이해
4	프롬프트 엔지니어링	역할, 규칙, 출력 형식 제어
5	Function Calling 및 Tool Calling	LLM이 적절한 도구를 호출하도록 구현
6	Agent Workflow	분기, 반복, 종료 조건 설계
7	상태 및 메모리 관리	중간 결과와 대화 기록 관리
8	RAG	문서 및 데이터 검색 기반 답변 구현
9	데이터베이스	사용자 정보, 실행 기록, 문서 저장
10	검색 및 재랭킹	관련 자료를 정확하게 선별
11	평가 방법	Agent 성능을 객관적으로 측정
12	비동기 및 병렬 처리	여러 API와 도구를 효율적으로 실행
13	백엔드 개발	Agent를 웹 서비스로 배포
14	보안	API Key, 개인정보, 도구 권한 보호
15	배포 및 운영	로그, 비용, 장애, 버전 관리

2. 벡터 디비

상황	추천
처음 만드는 학부 프로젝트	Chroma 또는 FAISS
웹 서비스이며 일반 DB도 필요	PostgreSQL + pgvector
기존 PostgreSQL을 사용 중	PostgreSQL + pgvector
로컬에서 간단히 테스트	Chroma 또는 FAISS

PostgreSQL
├─ documents 테이블
│  ├─ id
│  ├─ title
│  ├─ content
│  ├─ source
│  ├─ published_at
│  └─ embedding vector(768)
│
└─ 사용자 질문
   → 질문 임베딩 생성
   → pgvector 유사도 검색
   → 관련 문서 추출
   → LLM에 전달

3. RAG

1. RAG 정의

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 사용자의 질문과 관련된 자료를 먼저 검색한 뒤, 검색된 자료를 LLM에 전달하여 답변을 생성하는 방식입니다.

기본 흐름은 다음과 같습니다.

자료 수집
→ 문서 분할
→ 문서 임베딩
→ 벡터 DB 저장
→ 사용자 질문 임베딩
→ 유사 문서 검색
→ 검색 문서와 질문을 LLM에 전달
→ 답변 생성

LLM이 학습할 때 알고 있던 정보만 사용하는 것이 아니라, 외부 문서나 최신 자료를 근거로 답변하게 만드는 것이 핵심입니다.

2. RAG의 필수 개념

문서 수집

PDF, 기사, 보고서, 웹페이지, DB 데이터 등 답변 근거로 사용할 자료를 확보하는 단계입니다.

청킹(Chunking)

긴 문서를 일정한 크기의 작은 문단으로 나누는 과정입니다.

예를 들어 100페이지 보고서를 한 번에 검색하지 않고 300~1,000토큰 정도의 문단 단위로 분할합니다.

청크가 너무 크면 불필요한 내용이 많이 포함되고, 너무 작으면 문맥이 끊길 수 있습니다.

임베딩(Embedding)

텍스트를 의미를 나타내는 숫자 벡터로 변환하는 과정입니다.

"전력 수요가 증가하고 있다"
→ [0.14, -0.32, 0.71, ...]

의미가 비슷한 문장은 벡터 공간에서도 가까운 위치에 배치됩니다.

벡터 DB

문서의 임베딩 벡터와 원문, 제목, 날짜, 출처 등의 메타데이터를 저장하고 검색하는 데이터베이스입니다.

예시는 다음과 같습니다.

PostgreSQL + pgvector
Qdrant
Pinecone
Milvus
Weaviate
Chroma
FAISS

검색(Retrieval)

질문 벡터와 문서 벡터를 비교하여 가장 유사한 문서 청크를 찾는 과정입니다.

생성(Generation)

검색된 문서와 사용자 질문을 LLM에 함께 전달하여 최종 답변을 작성하는 단계입니다.

3. 문서 임베딩 방식

문서를 임베딩하려면 일반적으로 임베딩 전용 모델을 사용합니다. 반드시 Hugging Face에서 가져와야 하는 것은 아닙니다.

Hugging Face 모델 사용

오픈소스 임베딩 모델을 직접 다운로드하여 로컬에서 실행하는 방식입니다.

대표적인 모델 계열은 다음과 같습니다.

Sentence-Transformers
BGE
E5
GTE
KoSimCSE
multilingual-e5

장점은 무료로 로컬 실행이 가능하다는 것이고, 단점은 모델 관리와 서버 자원이 필요하다는 것입니다.

API 임베딩 사용

OpenAI, Google, Cohere 등의 임베딩 API를 호출하는 방식입니다.

문서 텍스트
→ 임베딩 API 호출
→ 벡터 반환
→ 벡터 DB 저장

구현이 간단하고 성능이 안정적이지만, 호출 비용과 외부 전송 문제가 있습니다.

직접 학습한 모델 사용

특정 분야의 검색 성능을 높이기 위해 임베딩 모델을 직접 파인튜닝할 수도 있습니다.

예를 들어 전력시장 문서에서 비슷한 문장과 다른 문장을 학습시켜 에너지 분야 전용 임베딩 모델을 만들 수 있습니다. 다만 일반적인 프로젝트에서는 먼저 기존 임베딩 모델을 사용하는 것이 효율적입니다.

상황별 선택

상황권장 방식

간단한 학부 프로젝트	Hugging Face Sentence-Transformers
한국어 문서 중심	한국어 또는 다국어 임베딩 모델
빠른 서비스 개발	임베딩 API
보안이 중요한 내부 문서	로컬 Hugging Face 모델
전문 분야 검색 정확도 필요	도메인 모델 또는 파인튜닝
대규모 상용 서비스	API 또는 전용 임베딩 서버

4. 질문 임베딩 방식

사용자 질문도 문서와 동일하게 임베딩 모델에 입력하여 벡터로 변환합니다.

문서 청크
→ 임베딩 모델 A
→ 문서 벡터

사용자 질문
→ 임베딩 모델 A
→ 질문 벡터

가장 중요한 원칙은 문서와 질문에 같은 임베딩 모델을 사용해야 한다는 것입니다.

5. 질문과 자료의 유사도 검사 방식

코사인 유사도

RAG에서 가장 일반적으로 사용하는 방식입니다.

질문 벡터와 문서 벡터의 방향이 얼마나 비슷한지를 계산합니다.

질문 임베딩
↕ 코사인 유사도 계산
문서 임베딩

값이 높을수록 의미가 유사하다고 판단합니다.

대부분의 Sentence-Transformers 기반 RAG에서는 코사인 유사도를 기본으로 사용합니다.

내적(Dot Product)

두 벡터의 대응 값을 곱한 뒤 합산하는 방식입니다.

정규화된 임베딩에서는 코사인 유사도와 유사한 결과가 나오며, 일부 모델은 내적 검색을 기준으로 학습됩니다.

6. 실무에서 가장 일반적인 검색 방식

일반적인 RAG에서는 다음 구조를 많이 사용합니다.

1차 검색
질문 임베딩과 문서 임베딩의 코사인 유사도 계산
→ 상위 10~50개 문서 선택

2차 재랭킹
Cross-Encoder 또는 Reranker로 질문과 문서를 다시 정밀 비교
→ 최종 상위 3~10개 선택

답변 생성
선택된 문서를 LLM에 전달

간단한 프로젝트에서는 다음만으로도 충분합니다.

임베딩 모델
+ 코사인 유사도
+ Top-k 검색
+ LLM 답변 생성

4. LangGraph의 State

1. State 정의

State는 LangGraph 실행 과정에서 여러 노드가 공동으로 읽고 갱신하는 현재 작업 상태 데이터입니다.

쉽게 말하면 Agent가 현재까지 수행한 내용과 다음 작업에 필요한 정보를 담는 공용 저장 공간입니다.

State 예시
├─ 사용자 질문
├─ 대화 기록
├─ 검색된 문서
├─ 선택한 도구
├─ 도구 실행 결과
├─ 현재 처리 단계
├─ 오류 정보
└─ 최종 답변

각 노드는 현재 State를 입력받아 작업하고, 변경할 값만 반환합니다. LangGraph는 반환된 값을 기존 State에 반영한 뒤 다음 노드로 전달합니다.

2. State의 기본 지식

State는 DB와 다름

State는 Agent의 현재 실행 문맥과 중간 결과를 관리합니다.

반면 DB는 사용자 정보, 문서, 업무 결과 등 장기간 보관해야 하는 데이터를 저장합니다.

State
현재 질문, 검색 결과, 작업 단계, 임시 판단

DB
회원 정보, 원본 문서, 과거 보고서, 장기 기록

다만 Checkpointer를 연결하면 State를 실행 단계마다 저장하여 중단된 작업을 이어가거나 이전 상태를 확인할 수 있습니다.

모든 노드가 같은 State 구조를 사용함

검색 노드, 판단 노드, 도구 실행 노드, 답변 생성 노드는 같은 State 구조를 공유합니다. 각 노드는 자신에게 필요한 항목만 읽고 갱신합니다.

노드는 전체 State를 다시 반환하지 않아도 됨

예를 들어 검색 노드는 검색 결과만 반환하고, 답변 노드는 최종 답변만 반환할 수 있습니다. LangGraph가 기존 State와 새 결과를 합칩니다.

같은 항목의 갱신 방법을 정해야 함

기본적으로 새로운 값이 기존 값을 덮어씁니다.

하지만 대화 기록처럼 계속 누적해야 하는 값은 Reducer를 사용하여 기존 목록 뒤에 새 값을 추가하도록 설정합니다.

3. State의 주요 구성 요소

State에 어떤 항목이 존재하고 각 항목의 자료형이 무엇인지 정의한 구조입니다.

question        : 문자열
messages        : 메시지 목록
documents       : 문서 목록
tool_name       : 문자열
tool_result     : 문자열
retry_count     : 정수
final_answer    : 문자열

Python에서는 일반적으로 TypedDict, dataclass, Pydantic 모델 등으로 정의합니다. TypedDict가 일반적

Reducer

노드가 반환한 새 값을 기존 State에 어떻게 반영할지 결정합니다.

덮어쓰기	기존 검색 결과를 새 검색 결과로 교체
추가	기존 메시지 목록에 새 메시지 추가
병합	기존 딕셔너리와 새 딕셔너리 결합
합산	기존 횟수에 새로운 값을 더함

예를 들어 final_answer는 덮어쓰기가 적절하고, messages는 누적이 적절합니다.

Node

State를 입력받아 실제 작업을 수행하고 State 갱신값을 반환하는 함수입니다.

질문 분석 노드
검색 노드
도구 선택 노드
도구 실행 노드
답변 생성 노드
검증 노드

Edge

한 노드가 끝난 후 어느 노드를 실행할지 결정하는 연결입니다.

고정 Edge는 항상 정해진 노드로 이동하고, 조건부 Edge는 State 값을 확인하여 다음 노드를 선택합니다.

START와 END

START는 그래프 실행 시작점을 의미하고, END는 실행 종료점을 의미합니다.

Checkpointer

각 실행 단계의 State를 저장하는 구성 요소입니다.

이를 사용하면 다음 기능을 구현할 수 있습니다.

대화 상태 유지
오류 발생 후 재시작
작업 중단 후 재개
사용자 승인 대기
이전 실행 단계 확인
특정 시점부터 다시 실행

LangGraph는 Checkpointer가 연결된 경우 각 단계의 State를 체크포인트로 저장합니다.

4. State 구현 방법

코드 없이 구현 순서를 설명하면 다음과 같습니다.

1단계: Agent가 기억해야 할 정보 결정

먼저 전체 작업에서 어떤 데이터가 계속 전달되어야 하는지 정합니다.

예를 들어 뉴스 검색 Agent라면 다음 항목이 필요합니다.

사용자 질문
검색 키워드
검색 결과
선택된 기사
요약 결과
검증 결과
최종 답변

2단계: State Schema 설계

각 항목의 이름과 자료형을 정합니다.

사용자 질문: 문자열
검색 키워드: 문자열 목록
검색 결과: 기사 목록
검증 통과 여부: 참 또는 거짓
반복 횟수: 정수
최종 답변: 문자열

State에는 필요한 값만 포함해야 합니다. 모든 원본 데이터나 대형 파일을 State에 직접 저장하면 상태가 지나치게 커질 수 있으므로, 필요하면 파일 경로나 DB ID만 저장합니다.

3단계: 각 필드의 갱신 방식 결정

각 값이 덮어써져야 하는지 누적되어야 하는지 정합니다.

사용자 질문: 기존 값 유지
검색 키워드: 필요 시 교체
검색 결과: 새 결과로 교체하거나 누적
대화 기록: 계속 추가
반복 횟수: 1씩 증가
최종 답변: 새 값으로 교체

4단계: Node별 역할 결정

각 Node가 어떤 State를 읽고 어떤 State를 변경할지 정합니다.

Node읽는 State갱신하는 State

질문 분석	사용자 질문	검색 키워드
자료 검색	검색 키워드	검색 결과
자료 검증	검색 결과	검증 결과
답변 생성	질문, 검색 결과	최종 답변
품질 검사	최종 답변	통과 여부, 수정 의견

5단계: Edge와 분기 조건 설계

State의 값에 따라 다음 실행 위치를 정합니다.

검증 통과 = 참
→ 답변 생성

검증 통과 = 거짓
→ 다시 검색

반복 횟수 초과
→ 오류 처리 또는 현재 결과로 종료

6단계: 그래프 실행

초기 State에 사용자 질문을 넣고 그래프를 시작합니다.

각 노드는 다음 과정을 반복합니다.

현재 State 입력
→ 노드 작업 수행
→ 일부 State 갱신
→ Edge가 다음 노드 결정
→ 갱신된 State를 다음 노드에 전달

7단계: 필요하면 State 영속화

대화를 여러 요청에 걸쳐 유지하거나 작업 중단 후 재개해야 한다면 Checkpointer를 연결합니다.

같은 사용자 또는 같은 대화에 동일한 Thread ID를 사용하면 이전 State를 이어서 사용할 수 있습니다.

5. 전체 동작 예시

에너지 뉴스 조사 Agent를 예로 들면 다음과 같습니다.

초기 State
사용자 질문 저장

↓ 질문 분석 노드
검색 키워드 생성
State에 검색 키워드 저장

↓ 뉴스 검색 노드
뉴스 API 호출
State에 검색 결과 저장

↓ 검증 노드
출처, 날짜, 관련성 확인
State에 검증 결과 저장

↓ 조건부 분기
자료가 부족하면 검색 노드로 복귀
자료가 충분하면 요약 노드로 이동

↓ 요약 노드
선택된 기사를 요약
State에 요약 결과 저장

↓ 답변 생성 노드
질문과 요약 결과를 기반으로 답변 작성
State에 최종 답변 저장

↓ END
최종 답변 반환

핵심 정리

State는 LangGraph Agent가 실행되는 동안 필요한 데이터와 중간 결과를 노드 간에 전달하는 공용 상태 객체입니다.

LangGraph의 기본 구조는 다음과 같습니다.

State: 현재 정보를 저장
Node: 실제 작업 수행
Edge: 다음 작업 결정
Reducer: State 갱신 방식 결정
Checkpointer: State를 저장하고 복구

구현의 핵심은 어떤 정보를 State에 저장할지, 각 Node가 무엇을 읽고 변경할지, 어떤 조건으로 다음 Node를 선택할지를 먼저 설계하는 것입니다.

5. SQL

다른 문서

26/07/24 질문 모음

김형준 — Fri, 24 Jul 2026 11:04:36 +0900

1. AI agent 정의: LLM이 도구와 상태를 이용해 목표를 달성하도록 판단하고 행동하는 시스템입니다.

사용자 목표 입력
   ↓
해야 할 일 판단
   ↓
필요한 도구 선택
   ↓
검색·계산·API 호출·DB 조회
   ↓
결과 확인
   ↓
필요하면 다시 실행
   ↓
최종 답변 또는 업무 완료

2. AI agent 프레임워크 종류

	프레임워크	특징	적합 경우	난이도
1	LangChain	모델, 프롬프트, 도구, 검색 등을 쉽게 연결	범용 Agent, RAG, 빠른 개발	낮음
2	LangGraph	상태·노드·분기·반복을 그래프로 제어	복잡한 업무 흐름, 장기 실행, 실제 서비스	중상
3	직접 Python 구현	반복문, 함수, API 호출로 자체 구현	보안·성능·세밀한 제어가 필요한 서비스	낮음~높음
4	OpenAI Agent SDK	Agent, Tool, Handoff, Guardrail을 간결하게 구현	OpenAI 모델 중심 서비스	낮음
5	LlamaIndex	문서·DB 검색과 RAG에 강함	사내 문서, 지식검색 Agent	중간

3. LangChain 과 LangGraph 의 차이

4. AI agent 필수 구성 요소

순위	구성요소	역할	예시
1	목표 및 업무 정의	Agent가 해결할 문제와 완료 조건을 정의	최신 에너지 뉴스를 검색하여 중요 기사 5개 요약
2	판단 모델, LLM	사용자 요청을 해석하고 도구 선택 및 다음 행동을 결정	GPT, Gemini, Claude, Llama
3	도구, Tool	Agent가 실제 행동을 수행하는 함수	뉴스 검색, 날씨 조회, DB 검색, 이메일 전송
4	시스템 프롬프트	Agent의 역할, 규칙, 도구 사용 조건을 정의	신뢰 가능한 출처만 사용하고 출처를 표시하라
5	상태, State	현재 작업 진행 상황과 중간 결과를 저장	사용자 요청, 검색 결과, 선택한 기사, 요약문
6	실행 흐름, Workflow	어떤 순서로 판단하고 도구를 실행할지 제어	요청 분석 → 검색 → 검증 → 요약 → 출력
7	메모리, Memory	이전 대화나 사용자 정보를 저장하고 재사용	선호 뉴스 분야, 이전 검색 결과, 사용자 설정
8	외부 지식 연결	LLM이 모르는 최신 정보나 내부 문서를 제공	RAG, 웹 검색, 데이터베이스, API
9	출력 형식	최종 결과가 일정한 구조를 갖도록 제한	JSON, 표, 보고서, 이메일
10	검증 및 평가	결과의 정확성, 완전성, 도구 선택을 평가	출처 검증, 환각 검사, 정답률, 성공률
11	오류 처리	API 실패, 빈 검색 결과, 잘못된 입력에 대응	재시도, 다른 도구 사용, 오류 메시지 출력
12	보안 및 권한 관리	위험한 도구 실행과 정보 유출을 방지	API Key 관리, 도구별 권한 제한, 승인 절차

5. AI Agent 개발 필요한 지식 순서

순위	요구 지식	이유
1	Python 기초	Agent와 Tool을 함수 및 클래스로 구현
2	API 및 JSON	외부 서비스와 LLM을 연결
3	LLM 기본 원리	모델의 한계와 응답 특성 이해
4	프롬프트 엔지니어링	역할, 규칙, 출력 형식 제어
5	Function Calling 및 Tool Calling	LLM이 적절한 도구를 호출하도록 구현
6	Agent Workflow	분기, 반복, 종료 조건 설계
7	상태 및 메모리 관리	중간 결과와 대화 기록 관리
8	RAG	문서 및 데이터 검색 기반 답변 구현
9	데이터베이스	사용자 정보, 실행 기록, 문서 저장
10	검색 및 재랭킹	관련 자료를 정확하게 선별
11	평가 방법	Agent 성능을 객관적으로 측정
12	비동기 및 병렬 처리	여러 API와 도구를 효율적으로 실행
13	백엔드 개발	Agent를 웹 서비스로 배포
14	보안	API Key, 개인정보, 도구 권한 보호
15	배포 및 운영	로그, 비용, 장애, 버전 관리

6. RAM 인식을 하지 않으면 컴퓨터 화면이 안나오는 이유

컴퓨터 전원을 켜면 운영체제가 실행되기 전에 메인보드가 POST(Power-On Self-Test, 전원 공급 자기진단)를 수행합니다. 이 과정에서 CPU, RAM, 그래픽카드 등 필수 부품이 정상적으로 연결되어 있는지 확인합니다.

RAM이 제대로 인식되지 않으면 다음 순서에서 부팅이 중단됩니다.

CPU에 전원이 공급됨
메인보드 BIOS 또는 UEFI가 실행됨
메모리 컨트롤러가 RAM을 탐색함
RAM의 용량, 속도, 타이밍 등을 확인하고 초기화함
RAM 초기화가 실패하면 POST가 중단됨
그래픽 출력 초기화와 운영체제 부팅 단계까지 진행되지 못함

따라서 모니터 자체가 고장 난 것이 아니라, 컴퓨터가 화면을 출력할 단계까지 부팅되지 못한 것입니다.

RAM 접점에 먼지나 산화물이 있거나 RAM이 슬롯에 끝까지 장착되지 않으면, 메인보드와 RAM 사이의 전기적 신호가 정상적으로 전달되지 않습니다. 특히 DDR 메모리는 많은 접점을 통해 주소, 데이터, 전압 및 제어 신호를 주고받기 때문에 일부 접점만 불안정해도 메모리 초기화가 실패할 수 있습니다.

이때 일반적으로 나타나는 현상은 다음과 같습니다.

전원과 팬은 작동하지만 화면이 나오지 않음
키보드와 마우스에 전원이 들어오지 않음
전원이 반복적으로 켜졌다 꺼짐
메인보드 DRAM 경고등이 켜짐
메인보드 스피커에서 메모리 오류 비프음이 발생함

즉, 팬이 돌아간다고 해서 컴퓨터 부팅이 완료된 것은 아닙니다. 팬은 단순히 전원이 공급되면 작동할 수 있지만, 화면 출력에는 CPU와 RAM을 포함한 주요 부품의 초기화가 필요합니다.

7. POST(Power-On Self-Test) 단계에서 RAM 문제가 다른 부품보다 자주 발생하는 이유

첫째, RAM은 접점 수가 많고 장착 상태에 민감합니다. 메모리 모듈에는 수백 개의 금속 접점이 있으며, 슬롯과 정확하게 맞닿아야 합니다. RAM이 조금만 덜 꽂히거나 접점에 먼지, 이물질, 산화가 생겨도 신호 전달에 실패할 수 있습니다.

둘째, RAM은 부팅 초기에 반드시 초기화되어야 하는 핵심 부품입니다. CPU가 BIOS·UEFI를 실행한 직후 메모리 용량, 속도, 전압, 타이밍을 확인하는 메모리 트레이닝을 수행합니다. 이 과정에서 오류가 발생하면 POST가 즉시 중단되므로 RAM 문제가 눈에 잘 띕니다.

셋째, RAM은 여러 부품의 설정과 동시에 영향을 받습니다. 실제 RAM 자체가 정상이어도 다음 문제로 메모리 오류가 발생할 수 있습니다.

RAM 슬롯 불량
CPU 소켓 핀 접촉 불량
CPU 내부 메모리 컨트롤러 문제
XMP·EXPO 오버클럭 설정 불안정
서로 다른 RAM 모듈의 혼용
메인보드 BIOS와 RAM의 호환성 문제
전압 또는 타이밍 설정 오류

즉, POST의 DRAM 오류는 반드시 RAM 모듈 자체의 고장만 의미하지는 않습니다. 메모리와 연결된 CPU, 메인보드, 슬롯 및 BIOS 설정 문제까지 RAM 오류로 나타날 수 있습니다.

넷째, RAM은 사용자가 직접 탈착하거나 증설하는 경우가 많습니다. CPU나 그래픽카드보다 교체와 추가 장착이 빈번하므로 불완전한 장착, 잘못된 슬롯 사용 및 혼용 문제가 상대적으로 많이 발생합니다.

결론적으로 POST에서 RAM 문제가 많이 나타나는 이유는 RAM이 구조적으로 접촉에 민감하고, 부팅 초기에 복잡한 초기화 과정을 거치며, CPU·메인보드·BIOS 설정 문제까지 DRAM 오류로 표시될 수 있기 때문입니다.

8. Postgre DB + Vector DB

PostgreSQL + pgvector에서는 보통 하나의 PostgreSQL 안에서 메타데이터·본문·벡터를 함께 저장하고 검색합니다.

예를 들면 한 행에 다음처럼 저장합니다.

documents
- id
- title
- content          ← 실제 문서 조각 내용
- source
- category
- created_at
- embedding        ← 문서 조각의 임베딩 벡터

질문이 들어오면 일반적인 흐름은 다음과 같습니다.

사용자 질문
→ 질문을 임베딩 벡터로 변환
→ PostgreSQL의 embedding 열과 유사도 비교
→ 유사한 문서 행을 검색
→ 해당 행의 content를 함께 가져옴
→ LLM에 질문과 content를 전달
→ 답변 생성

즉, 벡터 DB에서 문서 ID만 찾고 일반 DB에서 내용을 가져오는 구조라기보다, pgvector 검색 결과 행에서 content, title, source 등을 동시에 가져오는 방식이 일반적입니다.

SELECT
    id,
    title,
    content,
    source,
    embedding <=> :question_embedding AS distance
FROM document_chunks
ORDER BY embedding <=> :question_embedding
LIMIT 5;

여기서 다음이 한 번에 수행됩니다.

embedding으로 질문과 가까운 문서 검색
content로 실제 본문 반환
title, source로 출처 정보 반환

DB와 벡터 DB의 역할

PostgreSQL을 사용할 때는 물리적으로 두 개의 별도 시스템이라기보다, 역할을 다음과 같이 구분하면 됩니다.

구분저장·검색 대상검색 방식

일반 DB 기능	제목, 날짜, 카테고리, 작성자, 권한, 본문	SQL 조건 검색
벡터 DB 기능	문서 의미를 표현한 임베딩	코사인 거리 등 유사도 검색
PostgreSQL + pgvector	위 두 기능을 하나의 DB에서 제공	SQL 필터와 벡터 검색 결합

예를 들어 사용자가 다음과 같이 질문했다고 가정할 수 있습니다.

2026년 한국 해상풍력 입찰에서 가격 외 평가항목은 무엇인가?

이때 일반 DB 조건으로는 다음 항목을 제한할 수 있습니다.

country = '한국'
year = 2026
category = '해상풍력'

그 후 제한된 문서들 안에서 질문 임베딩과 가장 유사한 문서를 찾습니다.

SELECT
    title,
    content,
    source
FROM document_chunks
WHERE country = '한국'
  AND year = 2026
  AND category = '해상풍력'
ORDER BY embedding <=> :question_embedding
LIMIT 5;

이것을 하이브리드 검색 또는 메타데이터 필터링이 결합된 벡터 검색이라고 볼 수 있습니다.

PostgreSQL + pgvector
- 문서 메타데이터
- 청크 본문
- 임베딩

핵심 정리

질문의 표현을 수정하면 다음이 더 정확합니다.

PostgreSQL의 일반 컬럼으로 문서의 조건과 메타데이터를 관리하고, pgvector 컬럼으로 질문과 의미가 비슷한 문서 조각을 검색한 뒤, 같은 행에 저장된 실제 본문을 가져온다.

벡터 검색으로 질문에 맞는 문서 조각을 찾고
일반 컬럼에서 실제 내용과 메타데이터를 가져온다

9. 쇼핑몰 사용자 추천 알고리즘 작동 원리

가장 대표적인 방식은 다음 네 가지입니다.

협업 필터링

사용자와 상품의 행동 기록을 이용합니다.

예를 들어:

사용자 A가 신발, 양말, 운동복을 구매함
사용자 B가 신발, 운동복을 구매함
그러면 사용자 B에게 양말을 추천함

여기서는 “신발을 산 사람에게 양말을 추천하라”는 정답을 사람이 직접 입력하지 않습니다. 과거 사용자들의 구매 패턴에서 자동으로 관계를 학습합니다.

사용자와 상품을 각각 벡터로 만들고, 내적이나 코사인 유사도로 선호도를 계산할 수 있습니다.

사용자 벡터
[운동용품 선호, 가격 민감도, 브랜드 선호, 계절 선호, ...]

상품 벡터
[운동 관련성, 가격대, 브랜드, 계절성, ...]

사용자 벡터와 상품 벡터가 가까우면 추천 점수가 높아집니다.

다만 실제 임베딩 차원은 “운동용품 선호”처럼 사람이 의미를 직접 붙인 값이 아니라, 모델이 학습한 잠재 요인인 경우가 많습니다.

2. 콘텐츠 기반 추천

사용자가 이전에 본 상품과 속성이 비슷한 상품을 추천합니다.

예를 들어 사용자가 다음 상품을 자주 봤다고 가정합니다.

검은색
남성용
러닝화
10만 원대
나이키

그러면 비슷한 속성을 가진 다른 운동화를 추천합니다.

이 방식에서는 상품 설명, 카테고리, 브랜드, 가격, 이미지 등을 벡터로 만들 수 있습니다.

사용자가 선호한 상품들의 벡터 평균
→ 사용자 취향 벡터

새 상품의 벡터
→ 상품 벡터

두 벡터의 유사도 계산
→ 추천 후보 선정

이것은 질문에서 말한 “사용자 상태를 벡터로 만들고 주변 상품을 찾는 방식”에 가깝습니다.

3. 지도학습 기반 추천

과거 행동을 정답으로 만들어 모델을 학습합니다.

예를 들어 한 사용자와 한 상품의 조합에 대해 다음 피처를 넣습니다.

사용자 나이
사용자 성별
최근 본 카테고리
최근 구매 상품
현재 날씨
현재 시간
상품 가격
상품 할인율
상품 카테고리
브랜드

정답은 다음과 같이 만들 수 있습니다.

클릭했으면 1
클릭하지 않았으면 0

또는:

구매했으면 1
구매하지 않았으면 0

모델은 다음 함수를 학습합니다.

사용자 정보 + 상품 정보 + 현재 상황
→ 클릭 또는 구매 확률

예를 들어 모델 출력은 다음과 같습니다.

파전 구매 확률: 0.72
우산 구매 확률: 0.65
아이스크림 구매 확률: 0.08

비 오는 날 파전이 자주 구매되었다면, 사람이 규칙을 넣지 않아도 모델이 해당 패턴을 학습할 수 있습니다.

4. 연관 규칙 기반 추천

“신발을 산 사람은 양말도 산다”와 가장 직접적으로 대응하는 방식입니다.

장바구니 데이터를 분석해서 상품 간 동시 구매 관계를 찾습니다.

신발 구매자 1,000명 중
양말도 구매한 사람 400명

신발 → 양말

대표적인 알고리즘은 다음과 같습니다.

Apriori
FP-Growth
Association Rule Mining

여기서 중요한 지표는 다음과 같습니다.

Support: 두 상품이 전체 거래에서 함께 등장하는 비율
Confidence: 신발을 산 사람이 양말도 산 비율
Lift: 우연한 동시 구매보다 실제 관계가 얼마나 강한지

이 방식도 사람이 “신발 → 양말”이라는 정답을 직접 주는 것이 아니라, 거래 데이터에서 규칙을 발견합니다.

“비 오는 날 파전”은 어떻게 처리하는가

세 가지 방식이 가능합니다.

첫째, 사람이 규칙을 직접 설정할 수 있습니다.

비가 온다
→ 파전과 우산 추천 점수 증가

이것은 규칙 기반 시스템입니다.

둘째, 지도학습으로 학습할 수 있습니다.

과거 데이터에 날씨와 구매 기록이 있다면:

날씨 = 비
상품 = 파전
구매 여부 = 1

같은 사례가 누적됩니다. 모델은 비가 올 때 파전 구매 확률이 높아지는 패턴을 학습합니다.

셋째, 통계적 연관성을 계산할 수 있습니다.

비 오는 날 파전 구매율
맑은 날 파전 구매율

두 비율을 비교해 비 오는 날 파전 구매가 실제로 증가하는지 확인합니다.

실제 쇼핑몰에서는 어떻게 결합하는가

일반적인 추천 시스템은 다음처럼 구성됩니다.

1단계: 후보 생성
협업 필터링, 벡터 유사도, 인기 상품 등으로
수백만 개 상품 중 수백 개를 추림

2단계: 순위화
지도학습 또는 딥러닝 모델로
각 상품의 클릭·구매 확률 계산

3단계: 후처리
재고, 배송 가능 여부, 광고, 중복, 다양성 등을 반영

4단계: 최종 추천
점수가 높은 상품을 사용자에게 노출

예를 들어:

전체 상품: 1,000,000개
→ 벡터 유사도와 협업 필터링으로 500개 후보
→ 지도학습 모델로 구매 확률 예측
→ 재고 없는 상품 제거
→ 동일 브랜드 과다 노출 방지
→ 최종 20개 추천

따라서 벡터 유사도는 주로 후보를 빠르게 찾는 데 사용되고, 지도학습 모델은 후보들의 최종 순서를 정하는 데 많이 사용됩니다.

정답 데이터는 누가 만드는가

추천 시스템에서는 사람이 정답을 하나씩 작성하지 않는 경우가 대부분입니다. 사용자의 행동 자체를 정답처럼 사용합니다.

노출했는가
클릭했는가
장바구니에 넣었는가
구매했는가
찜했는가
오래 보았는가
반품했는가

예를 들어 가중치를 줄 수도 있습니다.

상품 노출: 0
클릭: 1
찜: 2
장바구니: 3
구매: 5
반품: -3

별점처럼 사용자가 직접 선호도를 입력하면 명시적 피드백입니다.

핵심 차이

방식무엇을 기반으로 하는가예시

벡터 유사도	사용자와 상품의 표현 벡터	러닝화를 본 사용자에게 비슷한 러닝화 추천
협업 필터링	비슷한 사용자들의 행동	나와 구매 패턴이 비슷한 사람이 산 상품 추천
지도학습	과거 클릭·구매 결과	이 사용자가 이 상품을 구매할 확률 예측
연관 규칙	함께 구매된 상품 조합	신발 구매자에게 양말 추천
규칙 기반	사람이 정의한 조건	비 오는 날 우산 추천

결론적으로, 쇼핑몰 추천 알고리즘은 “사용자 벡터 주변 상품을 찾는 방식”도 맞고, “과거 구매 여부를 정답으로 학습하는 지도학습 방식”도 맞습니다.

벡터·협업 필터링으로 추천 후보 생성
→ 지도학습 모델로 클릭·구매 확률 계산
→ 재고와 비즈니스 규칙으로 최종 정렬

Cross Entropy Loss는 무엇인가?

김형준 — Wed, 20 May 2026 16:12:07 +0900

1. 정의

Cross Entropy Loss는 모델이 예측한 확률 분포와 실제 정답 분포가 얼마나 다른지를 측정하는 손실 함수입니다.

분류 문제에서 가장 많이 사용되는 손실 함수이며, 특히 다음 상황에서 핵심적으로 사용됩니다.

이미지 분류
텍스트 분류
음성 분류
CNN 분류기
Transformer
LLM next-token prediction

한 문장으로 정의하면 다음과 같습니다.

Cross Entropy Loss = 정답 클래스에 모델이 얼마나 높은 확률을 부여했는지 평가하는 손실 함수

조금 더 정확히 말하면 다음입니다.

Cross Entropy Loss = 실제 정답 분포를 기준으로 예측 확률 분포가 얼마나 비효율적인지 측정하는 함수

즉, 단순히 “맞았다 / 틀렸다”만 보는 것이 아닙니다.

정답을 맞혔는가?
정답에 얼마나 높은 확률을 줬는가?
틀렸다면 얼마나 확신하면서 틀렸는가?

까지 함께 평가합니다.

2. Cross Entropy Loss의 핵심 직관

Cross Entropy는 다음 원리로 동작합니다.

정답 클래스 확률이 높으면 loss가 작다.
정답 클래스 확률이 낮으면 loss가 크다.
정답 클래스 확률이 거의 0이면 loss가 매우 커진다.

예를 들어 정답이 “고양이”라고 하겠습니다.

모델 예측정답 클래스 확률평가

고양이 0.99	매우 높음	loss 매우 작음
고양이 0.70	높음	loss 작음
고양이 0.30	낮음	loss 큼
고양이 0.01	매우 낮음	loss 매우 큼

즉, Cross Entropy는 모델에게 다음과 같이 학습시킵니다.

정답 클래스 확률을 최대한 높여라.
오답 클래스 확률은 낮춰라.
틀린 예측을 확신하지 마라.

3. Entropy란 무엇인가

Cross Entropy를 이해하려면 먼저 Entropy를 이해해야 합니다.

Entropy는 정보이론에서 나온 개념이며, 의미는 다음과 같습니다.

Entropy = 불확실성의 크기

또는 다음처럼 이해할 수 있습니다.

Entropy = 어떤 결과가 나올지 예측하기 어려운 정도

3.1 동전 예시

공정한 동전이 있다고 하겠습니다.

앞면: 50%
뒷면: 50%

이 경우 앞면이 나올지 뒷면이 나올지 예측하기 어렵습니다.

불확실성 큼
Entropy 큼

반대로 다음과 같은 동전이 있다고 하겠습니다.

앞면: 99%
뒷면: 1%

이 경우 거의 앞면이 나올 것이라고 예측할 수 있습니다.

불확실성 작음
Entropy 작음

따라서 Entropy는 다음처럼 정리할 수 있습니다.

결과가 예측하기 어려울수록 entropy가 크다.
결과가 거의 확실할수록 entropy가 작다.

4. Cross Entropy란 무엇인가

Entropy가 “실제 분포 자체의 불확실성”을 나타낸다면, Cross Entropy는 다음을 측정합니다.

실제 정답 분포를 기준으로 했을 때,
모델의 예측 분포가 얼마나 비효율적인가

즉, 다음 질문에 답합니다.

정답 기준에서 봤을 때 모델의 예측은 얼마나 나쁜가?

예를 들어 정답이 고양이인데 모델이 다음처럼 예측했다고 하겠습니다.

고양이: 0.01
강아지: 0.89
자동차: 0.10

이 경우 모델은 정답인 고양이에 거의 확률을 주지 않았습니다.

Cross Entropy는 이를 매우 나쁜 예측으로 판단합니다.

정답 클래스 확률이 낮음
→ loss 큼
→ 강한 벌점

5. Cross Entropy Loss 수식

5.1 Multi-Class Classification 수식

다중 클래스 분류에서 Cross Entropy Loss는 다음과 같습니다.

L = -Σᵢ yᵢ log(pᵢ)

각 항의 의미는 다음과 같습니다.

기호의미

L	loss 값
C	클래스 개수
yᵢ	실제 정답 분포, 보통 one-hot
pᵢ	모델이 예측한 i번째 클래스 확률
log	로그 함수

정답이 one-hot이면 대부분의 yᵢ는 0이고, 정답 클래스만 1입니다.

따라서 실제로는 다음만 남습니다.

L = -log(정답 클래스 확률)

즉, Cross Entropy는 사실상 다음을 봅니다.

모델이 정답 클래스에 몇 % 확률을 줬는가?

6. One-Hot Encoding과 Cross Entropy

예를 들어 클래스가 다음과 같다고 하겠습니다.

[고양이, 강아지, 자동차]

정답이 고양이면 one-hot label은 다음입니다.

y = [1, 0, 0]

모델 예측이 다음과 같다고 하겠습니다.

p = [0.7, 0.2, 0.1]

Cross Entropy는 다음처럼 계산됩니다.

L = -(1 × log(0.7) + 0 × log(0.2) + 0 × log(0.1))

0이 곱해진 항은 사라집니다.

L = -log(0.7)

즉, 정답 클래스인 고양이의 확률만 loss 계산에 직접 남습니다.

따라서 핵심은 다음입니다.

Cross Entropy는 정답 클래스 확률을 직접 평가한다.

7. 왜 log를 사용하는가

Cross Entropy에서 log를 사용하는 이유는 정답 확률이 낮을 때 강한 패널티를 주기 위해서입니다.

수식은 다음과 같습니다.

L = -log(p_true)

여기서 p_true는 정답 클래스에 대한 예측 확률입니다.

7.1 정답 확률이 높을 때

p_true = 0.99
-log(0.99) ≈ 0.01

loss가 매우 작습니다.

7.2 정답 확률이 중간일 때

p_true = 0.5
-log(0.5) ≈ 0.69

loss가 어느 정도 있습니다.

7.3 정답 확률이 낮을 때

p_true = 0.01
-log(0.01) ≈ 4.61

loss가 매우 큽니다.

7.4 정답 확률이 거의 0일 때

p_true → 0
-log(p_true) → ∞

loss가 폭발적으로 커집니다.

즉, log의 역할은 다음입니다.

정답인데 확률을 거의 0으로 예측한 경우 매우 강하게 벌점 부여

8. Softmax와 Cross Entropy의 관계

Cross Entropy는 보통 Softmax와 함께 사용됩니다.

신경망의 마지막 layer는 보통 확률을 바로 출력하지 않습니다.
대신 각 클래스에 대한 raw score를 출력합니다.

이 raw score를 logit이라고 합니다.

예:

logits = [2.1, 1.3, 0.2]

이 값은 아직 확률이 아닙니다.

합이 1이 아님
음수도 가능
범위 제한 없음

Softmax는 이 logits를 확률 분포로 바꿉니다.

softmax(logits) = [0.62, 0.28, 0.10]

그 다음 Cross Entropy가 정답 클래스 확률을 기준으로 loss를 계산합니다.

전체 흐름은 다음과 같습니다.

CNN / Transformer 출력
→ logits
→ Softmax
→ class probability
→ Cross Entropy Loss

9. Softmax + Cross Entropy가 중요한 이유

Softmax와 Cross Entropy를 함께 쓰면 gradient가 매우 단순해집니다.

logit을 zᵢ, softmax 확률을 pᵢ, 정답 one-hot을 yᵢ라고 하면 다음이 됩니다.

∂L / ∂zᵢ = pᵢ - yᵢ

이 식이 매우 중요합니다.

예를 들어 예측이 다음과 같다고 하겠습니다.

p = [0.7, 0.2, 0.1]

정답은 첫 번째 클래스입니다.

y = [1, 0, 0]

그러면 gradient는 다음과 같습니다.

p - y = [0.7 - 1, 0.2 - 0, 0.1 - 0]
      = [-0.3, 0.2, 0.1]

의미는 다음입니다.

클래스gradient의미

정답 클래스	-0.3	확률을 더 올려야 함
오답 클래스 1	0.2	확률을 낮춰야 함
오답 클래스 2	0.1	확률을 낮춰야 함

즉, Softmax + Cross Entropy는 모델에게 매우 직접적인 학습 신호를 줍니다.

정답 클래스는 올려라.
오답 클래스는 내려라.

10. 역전파에서 Cross Entropy의 역할

Cross Entropy는 학습의 출발점입니다.

모델이 예측을 하면 loss가 계산됩니다.

예측 확률 p
정답 y
→ Cross Entropy Loss L

그 다음 역전파는 loss를 기준으로 gradient를 계산합니다.

∂L / ∂W

이 gradient는 다음을 의미합니다.

어떤 weight를 어느 방향으로 바꾸면 loss가 줄어드는가?

그 후 optimizer가 weight를 업데이트합니다.

W ← W - η ∂L/∂W

따라서 Cross Entropy의 역할은 단순한 점수 계산이 아닙니다.

모델이 어떤 방향으로 학습해야 하는지 결정하는 기준

입니다.

11. Cross Entropy의 진짜 목적

Cross Entropy는 단순히 “틀린 정도”를 계산하는 함수가 아닙니다.

진짜 목적은 다음입니다.

예측 확률 분포를 실제 정답 분포에 가깝게 만드는 것

즉, 모델이 단순히 정답을 맞히는 것만이 아니라, 올바른 확률 체계를 배우도록 만듭니다.

예를 들어 같은 정답이라도 다음 두 예측은 다르게 평가됩니다.

예측 A: 정답 클래스 0.51
예측 B: 정답 클래스 0.99

둘 다 argmax 기준으로는 정답일 수 있습니다.
하지만 Cross Entropy는 B를 더 좋은 예측으로 봅니다.

이유는 다음입니다.

B가 정답에 더 높은 확신을 주었기 때문

12. MSE 대신 Cross Entropy를 쓰는 이유

분류 문제에서는 보통 MSE보다 Cross Entropy가 더 적합합니다.

12.1 이유 1. Cross Entropy는 분류에 특화되어 있다

분류 문제의 목표는 정답 클래스 확률을 높이는 것입니다.

Cross Entropy는 바로 이 목표를 직접 최적화합니다.

정답 클래스 확률 p_true를 높이면 loss가 감소

반면 MSE는 확률 분포의 숫자 차이를 제곱해서 봅니다.

MSE = (예측값 - 정답값)²

분류 문제에서는 정답 클래스 확률을 직접 밀어올리는 Cross Entropy가 더 자연스럽습니다.

12.2 이유 2. Cross Entropy는 틀린 예측에 강한 패널티를 준다

정답 확률이 매우 낮으면 Cross Entropy는 loss를 크게 만듭니다.

예:

정답 확률 = 0.01
Cross Entropy = -log(0.01) ≈ 4.61

즉, 모델이 정답을 거의 불가능하다고 예측하면 강하게 벌점을 줍니다.

반면 MSE는 상대적으로 패널티가 약할 수 있습니다.

12.3 이유 3. Softmax와 결합 시 gradient가 깔끔하다

Softmax + Cross Entropy는 gradient가 다음처럼 단순합니다.

∂L / ∂zᵢ = pᵢ - yᵢ

이 식은 역전파를 안정적이고 효율적으로 만듭니다.

즉, 모델이 다음 방향으로 바로 학습할 수 있습니다.

정답 클래스 확률 증가
오답 클래스 확률 감소

12.4 이유 4. MSE는 gradient가 작아질 수 있다

MSE를 sigmoid 또는 softmax와 함께 사용하면 gradient가 작아져 학습이 느려질 수 있습니다.

특히 모델이 매우 틀렸는데도 gradient가 충분히 강하지 않을 수 있습니다.

결과적으로:

weight 업데이트 약함
학습 속도 느림
수렴 어려움

이 발생할 수 있습니다.

12.5 이유 5. Cross Entropy는 확률 분포 자체를 학습한다

Cross Entropy는 단순한 숫자 차이가 아니라, 예측 분포와 정답 분포의 차이를 최소화합니다.

즉, 다음을 학습합니다.

모델이 얼마나 올바른 확률 체계를 배우고 있는가

그래서 classification 문제에서 더 좋은 성능을 내는 경우가 많습니다.

13. Binary Cross Entropy, BCE

Binary Cross Entropy는 이진 분류에 사용하는 Cross Entropy입니다.

예:

스팸 / 정상
암 / 정상
사기 / 정상
relevant / irrelevant

수식은 다음과 같습니다.

L = -[y log(p) + (1-y) log(1-p)]

각 항의 의미는 다음입니다.

기호의미

y	실제 정답, 0 또는 1
p	positive class 예측 확률
1-p	negative class 예측 확률

13.1 y = 1일 때

L = -log(p)

positive가 정답이므로 p가 높아야 합니다.

13.2 y = 0일 때

L = -log(1-p)

negative가 정답이므로 p가 낮아야 합니다.

BCE는 보통 Sigmoid와 함께 사용됩니다.

logit
→ sigmoid
→ probability
→ BCE Loss

14. Categorical Cross Entropy

Categorical Cross Entropy는 다중 클래스 분류에서 사용됩니다.

예:

고양이
강아지
자동차
비행기

이 경우 보통 Softmax와 함께 사용합니다.

logits
→ softmax
→ class probability distribution
→ categorical cross entropy

정답은 보통 one-hot encoding입니다.

예:

정답 = 강아지
classes = [고양이, 강아지, 자동차]
one-hot = [0, 1, 0]

15. Sparse Categorical Cross Entropy

Categorical Cross Entropy와 같은 목적이지만, 정답 표현 방식이 다릅니다.

15.1 Categorical Cross Entropy

정답을 one-hot으로 표현합니다.

[0, 1, 0]

15.2 Sparse Categorical Cross Entropy

정답을 class index로 표현합니다.

둘은 본질적으로 같은 loss를 계산합니다.

차이는 정답 label 형식입니다.

방식정답 표현

Categorical Cross Entropy	one-hot vector
Sparse Categorical Cross Entropy	class index

16. Weighted Cross Entropy

데이터가 불균형할 때 사용합니다.

예를 들어 암 진단 데이터가 다음과 같다고 하겠습니다.

정상: 99%
암: 1%

이 경우 모델이 모든 샘플을 정상이라고 예측해도 accuracy는 99%가 될 수 있습니다.

하지만 암을 놓치면 매우 큰 문제입니다.

Weighted Cross Entropy는 소수 클래스에 더 큰 weight를 줍니다.

암 class weight ↑
정상 class weight ↓

수식 개념은 다음과 같습니다.

L = -Σᵢ wᵢ yᵢ log(pᵢ)

여기서 wᵢ는 클래스별 가중치입니다.

즉, 중요한 클래스나 희귀 클래스가 틀렸을 때 더 큰 벌점을 줍니다.

17. Cross Entropy의 장점

장점설명

분류 문제에 적합	정답 클래스 확률을 직접 최적화
확률 기반 학습	모델이 확률 분포를 학습
강한 패널티	정답 확률이 낮을 때 loss가 크게 증가
Softmax와 궁합 좋음	gradient가 p - y로 단순해짐
학습 효율 좋음	역전파가 안정적
정보이론 기반	이론적으로 해석 가능
CNN/Transformer/LLM에서 표준	실무적으로 매우 널리 사용

18. Cross Entropy의 단점

단점설명

noisy label에 취약	잘못된 정답 label도 강하게 학습
outlier에 민감	확신 있게 틀린 샘플에 큰 loss 발생
class imbalance 문제	다수 class에 편향될 수 있음
overconfidence 가능	모델이 지나치게 확신하는 확률을 출력할 수 있음
calibration 문제	예측 확률이 실제 확률과 맞지 않을 수 있음

19. Cross Entropy와 LLM

LLM도 본질적으로 Cross Entropy를 사용합니다.

LLM은 다음 token을 예측합니다.

예:

Patient has chest

다음 token 정답이 pain이라면, 모델은 vocabulary 전체에 대해 확률 분포를 만듭니다.

pain: 0.35
cough: 0.10
fever: 0.05
...

Cross Entropy는 정답 token인 pain의 확률을 기준으로 loss를 계산합니다.

L = -log P(pain)

즉, LLM 학습은 기본적으로 다음을 반복합니다.

정답 다음 token의 확률을 높인다.
오답 token의 확률을 낮춘다.

20. Cross Entropy와 CNN

CNN 이미지 분류에서도 마지막 단계는 보통 다음과 같습니다.

image
→ convolution layers
→ feature vector
→ linear layer
→ logits
→ softmax
→ cross entropy loss

예를 들어 클래스가 다음과 같다고 하겠습니다.

고양이
강아지
자동차

CNN이 이미지를 보고 logits를 출력합니다.

z = [2.1, 1.3, 0.2]

Softmax가 확률로 바꿉니다.

p = [0.62, 0.28, 0.10]

정답이 고양이면 loss는 다음입니다.

L = -log(0.62)

이 loss를 기준으로 CNN의 filter weight와 linear weight가 업데이트됩니다.

21. Cross Entropy 계산 예시

정답 클래스가 첫 번째 클래스라고 하겠습니다.

y = [1, 0, 0]

모델 예측이 다음과 같습니다.

p = [0.7, 0.2, 0.1]

Cross Entropy:

L = -log(0.7)

자연로그 기준으로:

L ≈ 0.357

다른 예측을 보겠습니다.

p = [0.1, 0.8, 0.1]

정답 클래스 확률은 0.1입니다.

L = -log(0.1)
L ≈ 2.303

즉, 정답 확률이 낮을수록 loss가 커집니다.

22. Cross Entropy의 본질

Cross Entropy의 본질은 다음입니다.

정답 클래스 확률을 최대화하도록 모델을 학습시키는 함수

더 깊게 말하면 다음입니다.

예측 확률 분포를 실제 정답 분포와 최대한 같게 만드는 최적화 목표

즉, Cross Entropy는 모델에게 다음을 요구합니다.

정답에는 높은 확률을 줘라.
오답에는 낮은 확률을 줘라.
확신 있게 틀리지 마라.
확률 분포를 올바르게 만들어라.

23. 핵심 암기 표

개념설명

Cross Entropy Loss	예측 확률 분포와 정답 분포의 차이를 측정하는 loss
Entropy	불확실성의 크기
Cross Entropy	정답 분포 기준에서 예측 분포의 비효율성
핵심 수식	L = -Σ yᵢ log(pᵢ)
one-hot일 때	L = -log(p_true)
Softmax	logits를 확률 분포로 변환
BCE	이진 분류용 Cross Entropy
Categorical CE	다중 클래스 분류용 Cross Entropy
Weighted CE	클래스 불균형 보정
Gradient	Softmax와 결합 시 p - y
목적	정답 클래스 확률 최대화
주요 사용처	CNN, Transformer, LLM, 분류 모델

24. 최종 요약

Cross Entropy Loss는 분류 문제에서 가장 핵심적인 손실 함수입니다.

모델 예측 확률 분포와 실제 정답 분포가 얼마나 다른지 측정한다.

실제 one-hot 정답에서는 거의 다음과 같이 작동합니다.

정답 클래스 확률이 높으면 loss 작음
정답 클래스 확률이 낮으면 loss 큼
정답 클래스 확률이 거의 0이면 loss 매우 큼

Softmax와 결합하면 다음 gradient가 나옵니다.

∂L / ∂zᵢ = pᵢ - yᵢ

이 식은 모델에게 명확한 학습 방향을 제공합니다.

정답 클래스 확률은 올리고,
오답 클래스 확률은 내린다.

따라서 Cross Entropy는 단순한 오차 계산식이 아니라, 모델이 올바른 확률 분포를 학습하도록 만드는 핵심 최적화 목표입니다.

파인튜닝 LoRA의 확장형 QLoRA 는 무엇인가? QLoRA 이해하기

김형준 — Tue, 19 May 2026 18:18:42 +0900

QLoRA 개요

1. 정의

QLoRA(Quantized Low-Rank Adaptation)는 사전학습된 대형 언어 모델을 저비트, 보통 4-bit로 양자화한 상태로 고정하고, 그 위에 LoRA adapter만 추가하여 학습하는 파라미터 효율적 미세조정 방식입니다.

한 문장으로 정의하면 다음과 같습니다.

QLoRA = 4-bit로 압축한 원본 LLM + 학습 가능한 LoRA adapter

즉, QLoRA는 LoRA의 확장형입니다.

LoRA는 원본 모델을 고정하고 작은 low-rank adapter만 학습합니다.
QLoRA는 여기에 원본 모델을 4-bit로 양자화하여 메모리 사용량을 더 줄이는 방식을 추가합니다.

정리하면 다음과 같습니다.

구분설명

LoRA	원본 모델을 고정하고 작은 adapter만 학습
QLoRA	원본 모델을 4-bit로 양자화한 뒤 adapter만 학습
목적	적은 GPU 메모리로 큰 LLM을 fine-tuning
핵심	base model은 압축하고, 학습은 LoRA adapter에서만 수행
대표 사용 상황	단일 GPU, 저메모리 GPU, Jetson 같은 edge device 환경

2. QLoRA가 필요한 이유

2.1 Full Fine-Tuning의 메모리 문제

대형 언어 모델을 full fine-tuning하려면 모델 전체 파라미터를 업데이트해야 합니다.

예를 들어 7B 모델을 학습한다고 하면 단순히 7B개의 weight만 필요한 것이 아닙니다. 학습 중에는 다음 항목이 모두 필요합니다.

모델 weight
gradient
optimizer state
activation
temporary buffer

특히 Adam optimizer는 보통 각 파라미터마다 2개의 momentum state를 추가로 가집니다. 따라서 실제 학습 메모리는 모델 weight 크기보다 훨씬 커집니다.

예를 들어 FP16 기준으로 7B 모델의 weight만 대략 다음 정도입니다.

7B parameters × 2 bytes = 약 14GB

하지만 학습에는 gradient, optimizer state, activation까지 필요하므로 실제로는 수십 GB 이상의 GPU 메모리가 필요합니다.

2.2 LoRA만으로도 부족할 수 있음

LoRA는 원본 모델을 freeze하고 adapter만 학습하므로 full fine-tuning보다 훨씬 가볍습니다. 그러나 원본 모델 자체를 FP16/BF16으로 메모리에 올려야 한다면 여전히 부담이 큽니다.

예를 들어 7B 모델을 FP16으로 올리면 weight만 약 14GB입니다. 13B 모델은 weight만 약 26GB입니다.

즉, LoRA는 학습 대상 파라미터를 줄이지만, base model을 메모리에 올리는 비용은 여전히 큽니다.

2.3 QLoRA의 해결 방식

QLoRA는 이 문제를 다음 방식으로 해결합니다.

base model을 4-bit로 양자화한다.
양자화된 base model은 freeze한다.
LoRA adapter만 FP16/BF16 등으로 학습한다.
gradient는 adapter에 대해서만 계산한다.

따라서 base model의 메모리 사용량을 크게 줄이고, 실제 학습은 작은 adapter에서만 수행할 수 있습니다.

3. QLoRA의 핵심 구조

QLoRA는 다음 세 요소로 구성됩니다.

Quantized Base Model
LoRA Adapter
Dequantization-based Forward Computation

3.1 Quantized Base Model

원본 LLM의 weight를 4-bit로 저장합니다.

예를 들어 원래 weight가 FP16이면 각 파라미터가 16-bit입니다.

FP16 = 16-bit = 2 bytes

4-bit 양자화하면 각 파라미터는 4-bit입니다.

4-bit = 0.5 bytes

단순 계산으로는 weight 저장량이 4분의 1 수준으로 줄어듭니다.

16-bit → 4-bit
메모리 약 75% 감소

3.2 LoRA Adapter

base model은 양자화되어 고정되고, 실제 학습은 LoRA adapter에서만 일어납니다.

기존 LoRA 수식은 다음과 같습니다.

output = W x + B A x

QLoRA에서는 W가 양자화된 weight입니다.

output = dequantize(W_4bit) x + B A x

여기서:

기호의미

W_4bit	4-bit로 저장된 원본 모델 weight
dequantize(W_4bit)	계산 시 임시로 복원된 weight
A, B	학습 가능한 LoRA 행렬
BAx	LoRA adapter가 만드는 보정값

3.3 Forward Computation

QLoRA에서 계산은 대략 다음과 같습니다.

4-bit weight를 메모리에 저장한다.
forward 계산 시 필요한 부분을 dequantize한다.
dequantized weight로 base model 출력을 계산한다.
LoRA adapter 출력을 더한다.
loss를 계산한다.
backward에서 adapter만 업데이트한다.

중요한 점은 4-bit base model 자체는 학습되지 않는다는 것입니다.

4. QLoRA와 LoRA의 차이

4.1 핵심 차이

항목LoRAQLoRA

원본 모델 상태	FP16/BF16인 경우가 많음	4-bit 양자화
원본 모델 학습 여부	freeze	freeze
학습 대상	LoRA adapter	LoRA adapter
메모리 사용량	full fine-tuning보다 작음	LoRA보다 더 작음
계산 복잡도	상대적으로 단순	양자화/역양자화 처리 필요
적합 환경	GPU 메모리가 어느 정도 있을 때	메모리 제약이 큰 환경
대표 목적	효율적 fine-tuning	초저메모리 fine-tuning

4.2 직관적 비교

LoRA는 다음과 같습니다.

큰 모델은 그대로 메모리에 올림
큰 모델은 학습하지 않음
작은 adapter만 학습

QLoRA는 다음과 같습니다.

큰 모델을 4-bit로 압축해서 메모리에 올림
큰 모델은 학습하지 않음
작은 adapter만 학습

즉, QLoRA는 LoRA의 장점에 base model 메모리 절약을 추가한 방식입니다.

5. QLoRA의 수식

5.1 일반 LoRA 수식

기존 선형 레이어는 다음과 같습니다.

h = W x

LoRA 적용 후:

h = W x + ΔW x

여기서:

ΔW = B A

따라서:

h = W x + B A x

5.2 QLoRA 수식

QLoRA에서는 W가 4-bit로 저장되어 있습니다.

W_q = Quantize(W)

계산 시에는 다음처럼 사용합니다.

h = Dequantize(W_q) x + B A x

여기서:

기호의미

W	원래 FP16/BF16/FP32 weight
W_q	4-bit로 양자화된 weight
Dequantize(W_q)	계산을 위해 임시 복원한 weight
A, B	학습되는 LoRA adapter
B A x	task-specific 보정값

중요한 점은 다음입니다.

W_q는 업데이트하지 않는다.
A와 B만 업데이트한다.

6. Quantization이란 무엇인가

QLoRA를 이해하려면 quantization, 즉 양자화를 이해해야 합니다.

6.1 Quantization 정의

Quantization은 모델의 weight를 고정밀 숫자 형식에서 저정밀 숫자 형식으로 변환하는 압축 기법입니다.

예를 들어:

FP32 → FP16
FP16 → INT8
FP16 → INT4

LLM에서 QLoRA는 보통 4-bit quantization을 사용합니다.

6.2 왜 양자화하는가

목적은 다음과 같습니다.

메모리 사용량 감소
큰 모델을 작은 GPU에 올리기
학습 또는 추론 비용 감소
edge device 배포 가능성 증가

6.3 양자화의 기본 원리

실수 weight가 있다고 하겠습니다.

[-1.2, -0.8, 0.0, 0.3, 0.9, 1.4]

이 값을 4-bit로 표현하려면 가능한 값의 개수가 제한됩니다.

4-bit는 다음 개수의 값을 표현할 수 있습니다.

2^4 = 16개 값

즉, 연속적인 실수를 16개의 대표값 중 하나로 근사합니다.

예:

-1.2 → code 0
-0.8 → code 2
0.0  → code 8
0.3  → code 10
0.9  → code 13
1.4  → code 15

저장할 때는 code만 저장하고, 계산할 때는 scale 등을 이용해 실수값으로 복원합니다.

7. 4-bit 양자화의 의미

7.1 bit 수 비교

형식bitbyte설명

FP32	32-bit	4 bytes	고정밀
FP16	16-bit	2 bytes	일반적인 학습/추론
BF16	16-bit	2 bytes	학습 안정성 좋음
INT8	8-bit	1 byte	양자화 추론
INT4 / 4-bit	4-bit	0.5 bytes	QLoRA에서 많이 사용

FP16에서 4-bit로 줄이면 weight 저장량은 대략 4분의 1이 됩니다.

7.2 예시 계산

7B 모델을 기준으로 보면:

FP16 weight 크기:
7B × 2 bytes = 약 14GB

4-bit로 저장하면:

7B × 0.5 bytes = 약 3.5GB

물론 실제로는 scale, zero-point, quantization metadata 등이 추가되므로 정확히 3.5GB만 쓰는 것은 아닙니다. 하지만 FP16보다 훨씬 작아집니다.

9. QLoRA 전체 학습 절차

9.1 절차 요약

base model 선택
4-bit quantization으로 모델 로드
원본 모델 freeze
LoRA adapter 삽입
학습 데이터 준비
forward 시 4-bit weight를 dequantize하여 계산
loss 계산
backward에서 LoRA adapter만 업데이트
validation 평가
adapter 저장

16. QLoRA에서 학습되는 것과 학습되지 않는 것

16.1 학습되는 것

LoRA A matrix
LoRA B matrix
필요 시 일부 bias
필요 시 task-specific head

16.2 학습되지 않는 것

4-bit base model weight
원본 attention weight
원본 MLP weight
원본 embedding 대부분

16.3 프로젝트 기준

Agenda LLM에서 QLoRA가 학습하는 것은 다음입니다.

발화가 clinically relevant인지 판단
type을 agenda_item/detail/medication/social_history/follow_up/question_unanswered 중 하나로 분류
한 문장 summary 생성
지정된 JSON 형식 유지
pipe-delimited context 활용

반대로 QLoRA 모델이 직접 학습하지 않는 것은 다음입니다.

linking
first-mention detection
resolution tracking
context buffer eviction

프로젝트 문서에서는 이 기능들을 system tracker와 context manager가 처리하도록 분리합니다.

22. QLoRA의 장점

22.1 매우 낮은 메모리 사용량

QLoRA의 가장 큰 장점입니다.

base model은 4-bit로 저장
학습은 adapter만 수행

따라서 큰 모델을 단일 GPU나 제한된 환경에서도 fine-tuning할 수 있습니다.

22.2 저장 공간 절약

학습 후 저장할 것은 adapter입니다.

base model: 한 번만 저장
task adapter: 작업별 저장

예:

llama-3.2-3b-base
adapter-clinical-agenda
adapter-medication-summary
adapter-dialogue-state

22.3 여러 작업에 유연하게 적용

같은 base model에 여러 adapter를 붙일 수 있습니다.

base model + adapter A
base model + adapter B
base model + adapter C

23. QLoRA의 단점

23.1 양자화 손실

4-bit로 줄이면 원래 weight 정보를 완벽하게 보존하지 못합니다.

가능한 문제:

미세한 표현력 손실
특정 task에서 성능 하락
수치 안정성 문제

23.2 구현 복잡도 증가

LoRA보다 QLoRA는 설정이 더 복잡합니다.

bitsandbytes 설정
compute dtype 설정
NF4/FP4 선택
double quantization 선택
device_map 관리

37. QLoRA를 한 문장으로 이해하기

QLoRA는 다음 문장으로 이해하면 됩니다.

큰 LLM은 4-bit로 압축해서 메모리에 올리고, 실제 학습은 작은 LoRA adapter만 수행하는 fine-tuning 방식

더 구체적으로는 다음입니다.

Base model:
  4-bit quantized, frozen

LoRA adapter:
  FP16/BF16, trainable

Training:
  adapter만 업데이트

Inference:
  quantized base model + trained adapter

38. QLoRA 핵심 암기 표

개념설명

QLoRA	Quantized Low-Rank Adaptation
기반	LoRA
핵심	4-bit base model + trainable LoRA adapter
base model	양자화되고 freeze됨
학습 대상	LoRA A/B 행렬
주요 목적	저메모리 LLM fine-tuning
주요 기술	NF4, double quantization, paged optimizer
장점	큰 모델을 작은 GPU에서 학습 가능
단점	양자화 손실, 구현 복잡도, 배포 변환 필요
LoRA와 차이	base model을 4-bit로 줄인다는 점
프로젝트 적용	Llama 3.2 3B Agenda LLM fine-tuning

39. 최종 정리

LoRA는 다음 방식입니다.

output = W x + B A x

QLoRA는 여기에 quantization을 추가합니다.

output = Dequantize(W_4bit) x + B A x

여기서:

W_4bit = 4-bit로 압축된 base model weight
A, B = 학습 가능한 LoRA adapter

따라서 QLoRA의 본질은 다음입니다.

원본 모델 전체를 학습하지 않는다.
원본 모델은 4-bit로 압축해서 메모리 사용량을 줄인다.
작은 adapter만 학습한다.
큰 모델을 제한된 자원에서도 task-specific하게 조정한다.

프로젝트 기준으로는 QLoRA가 Agenda LLM을 clinical agenda extraction 형식에 맞게 학습시키는 방법입니다. 반면 system tracker, context manager, metrics는 QLoRA의 직접 대상이 아닙니다. QLoRA는 “발화를 보고 relevant/type/summary를 생성하는 LLM”을 만드는 학습 기법이고, 그 뒤의 linking, resolution tracking, buffer eviction은 별도 시스템 구성요소가 처리합니다.

1. Base model을 4-bit로 양자화한다는 뜻

**“Base model을 4-bit로 양자화한다”**는 것은 LLM 안에 들어 있는 거대한 숫자 가중치들을 더 작은 숫자 형식으로 압축해서 저장하는 것입니다.

즉, 원래 모델이 가지고 있던 weight를 그대로 고정밀 숫자로 저장하지 않고, 4-bit짜리 작은 코드값으로 바꿔서 메모리 사용량을 줄이는 과정입니다.

간단히 말하면 다음입니다.

원래 모델 weight: FP16, BF16, FP32 같은 큰 숫자 형식
↓
4-bit 양자화
↓
압축된 4-bit weight

2. 여기서 대상은 무엇인가

양자화의 대상은 base model의 weight입니다.

Base model은 이미 사전학습이 끝난 원본 LLM입니다.

예:

Llama 3B
Llama 7B
Mistral 7B
Qwen 7B
Gemma 2B

이 모델들은 내부에 엄청나게 많은 숫자 weight를 가지고 있습니다.

예를 들어 Llama 7B라면 대략 70억 개의 weight가 있습니다.

7B model = 약 7,000,000,000개의 숫자 weight

이 weight들이 모델의 지식과 계산 규칙을 담고 있습니다.

예를 들어 모델이 다음을 이해할 수 있는 이유도 모두 weight에 저장된 패턴 때문입니다.

문법
단어 의미
의학 지식
문장 구조
추론 패턴
요약 방식
질문 응답 방식

따라서 4-bit 양자화의 대상은 다음입니다.

대상 = base model 내부의 weight matrix들

예를 들면 Transformer 내부의 다음 weight들이 대상입니다.

Wq, Wk, Wv, Wo
MLP weight
embedding weight
output projection weight

3. bit가 무엇인가

bit는 컴퓨터가 정보를 저장하는 가장 작은 단위입니다.

1 bit = 0 또는 1 하나

4-bit는 0과 1 네 개로 표현하는 숫자입니다.

4-bit = 0000 ~ 1111

4-bit로 표현할 수 있는 값의 개수는 다음과 같습니다.

2^4 = 16개

즉, 4-bit는 총 16개의 서로 다른 값을 표현할 수 있습니다.

예:

4. 원래 모델 weight는 어떤 형태인가

LLM의 weight는 보통 실수입니다.

예를 들어 어떤 weight들이 다음과 같다고 하겠습니다.

이런 값들은 보통 FP32, FP16, BF16 같은 형식으로 저장됩니다.

형식크기설명

FP32	32-bit	고정밀 실수
FP16	16-bit	절반 정밀도 실수
BF16	16-bit	학습에 자주 쓰는 실수
4-bit	4-bit	매우 압축된 저정밀 값

FP16은 weight 하나를 저장하는 데 16-bit를 씁니다.
4-bit는 weight 하나를 저장하는 데 4-bit만 씁니다.

따라서 단순 계산으로는 다음과 같습니다.

FP16 → 4-bit
16-bit → 4-bit
저장량 1/4로 감소

5. 왜 4-bit로 줄이는가

목적은 메모리 절약입니다.

예를 들어 7B 모델을 FP16으로 저장하면 weight만 대략 다음 크기입니다.

7,000,000,000개 × 2 bytes = 약 14GB

그런데 4-bit로 저장하면 weight 하나가 0.5 byte입니다.

7,000,000,000개 × 0.5 bytes = 약 3.5GB

즉, weight 저장량만 보면 다음처럼 줄어듭니다.

약 14GB → 약 3.5GB

그래서 큰 모델을 작은 GPU 메모리에도 올릴 수 있습니다.

6. 양자화가 실제로 하는 일

양자화는 연속적인 실수값을 제한된 개수의 대표값으로 바꾸는 과정입니다.

원래 weight는 매우 다양한 실수값을 가집니다.

-1.238
-0.912
-0.305
0.047
0.286
0.731
1.502

하지만 4-bit는 16개 값밖에 표현하지 못합니다.

따라서 원래 weight들을 16개의 대표값 중 가장 가까운 값으로 바꿉니다.

예를 들어 16개의 대표값이 있다고 가정하겠습니다.

[-1.5, -1.3, -1.1, -0.9, -0.7, -0.5, -0.3, -0.1,
  0.1,  0.3,  0.5,  0.7,  0.9,  1.1,  1.3,  1.5]

그러면 원래 weight는 다음처럼 근사됩니다.

원래 weight가장 가까운 대표값

-1.238	-1.3
-0.912	-0.9
-0.305	-0.3
0.047	0.1
0.286	0.3
0.731	0.7
1.502	1.5

즉, 정확한 값을 그대로 저장하지 않고, 가까운 대표값의 번호만 저장합니다.

7. 4-bit 양자화 과정

4-bit 양자화는 대략 다음 순서로 진행됩니다.

7.1 1단계: 원본 weight를 가져온다

예를 들어 어떤 layer의 weight가 있다고 하겠습니다.

W = [
  0.12, -0.44, 0.87,
  1.23, -1.10, 0.05
]

이 값들은 원래 FP16이나 BF16 형태입니다.

7.2 2단계: weight의 범위를 확인한다

먼저 이 weight들이 어느 범위에 있는지 봅니다.

최솟값 = -1.10
최댓값 = 1.23

모델 전체를 한 번에 양자화하지 않고, 보통은 block 또는 group 단위로 나눠서 양자화합니다.

예:

64개 weight 단위
128개 weight 단위
256개 weight 단위

이유는 layer마다, block마다 weight 분포가 다르기 때문입니다.

7.3 3단계: 대표값 또는 scale을 정한다

4-bit는 16개 값만 표현할 수 있으므로, 원래 실수값을 16개 코드로 매핑해야 합니다.

가장 단순한 방식은 uniform quantization입니다.

범위를 16구간으로 나눈다.
각 weight를 가장 가까운 구간으로 보낸다.

하지만 QLoRA에서는 보통 더 정교한 방식인 NF4를 많이 사용합니다.

NF4는 NormalFloat 4-bit입니다.

의미는 다음입니다.

LLM weight가 대체로 정규분포와 비슷하다는 점을 이용해서,
자주 나오는 값 주변을 더 정밀하게 표현하는 4-bit 방식

즉, 단순히 같은 간격으로 나누는 것이 아니라, weight 분포에 맞게 16개 대표값을 배치합니다.

7.4 4단계: 각 weight를 4-bit 코드로 바꾼다

예를 들어 원래 weight가 다음과 같다고 하겠습니다.

0.12
-0.44
0.87
1.23
-1.10
0.05

이 값들을 각각 가장 가까운 4-bit 코드로 바꿉니다.

예:

원래 weight4-bit 코드

0.12	1001
-0.44	0101
0.87	1101
1.23	1110
-1.10	0001
0.05	1000

실제로 저장되는 것은 원래 실수값이 아니라 이 4-bit 코드입니다.

7.5 5단계: 복원에 필요한 scale 정보를 저장한다

4-bit 코드만 있으면 원래 실수값으로 다시 근사할 수 없습니다.
따라서 scale 같은 보조 정보가 필요합니다.

예를 들어:

코드 1001은 실제로 0.12 근처를 의미한다.
코드 0101은 실제로 -0.44 근처를 의미한다.

이런 매핑 정보를 저장해야 합니다.

QLoRA에서는 이 scale 정보도 다시 압축하는 double quantization을 사용할 수 있습니다.

7.6 6단계: 계산할 때는 임시로 복원한다

모델이 실제 계산을 할 때는 4-bit 코드만으로 곱셈을 하기 어렵습니다.

그래서 계산 순간에 다음처럼 복원합니다.

4-bit weight code
↓
dequantize
↓
FP16/BF16에 가까운 계산용 weight

QLoRA 수식으로 쓰면 다음과 같습니다.

output = Dequantize(W_4bit) x + B A x

여기서:

항의미

W_4bit	4-bit로 저장된 base model weight
Dequantize(W_4bit)	계산할 때 임시로 복원한 weight
x	입력 hidden state
B A x	LoRA adapter가 추가하는 보정값

8. 양자화와 역양자화

4-bit 양자화에는 두 방향이 있습니다.

8.1 Quantization

원래 실수 weight를 4-bit 코드로 바꾸는 과정입니다.

FP16 weight → 4-bit code

예:

0.731 → 1100

8.2 Dequantization

4-bit code를 계산 가능한 실수 근사값으로 다시 바꾸는 과정입니다.

4-bit code → approximate FP16/BF16 value

예:

1100 → 0.70

중요한 점은 dequantization이 원래 값을 완벽하게 복원하는 것은 아니라는 점입니다.

원래 값: 0.731
복원 값: 0.70

즉, 약간의 오차가 생깁니다.

9. 양자화 오차

4-bit로 줄이면 원래 weight와 복원 weight 사이에 차이가 생깁니다.

원래 weight = 0.731
복원 weight = 0.70
오차 = 0.031

이 차이를 양자화 오차라고 합니다.

양자화 오차가 너무 크면 모델 성능이 떨어질 수 있습니다.

그래서 QLoRA에서는 다음 방법들을 사용해 오차를 줄입니다.

NF4 사용
block-wise quantization
double quantization
LoRA adapter로 task-specific 보정

10. 왜 base model을 4-bit로 줄여도 학습이 가능한가

중요한 질문입니다.

QLoRA에서는 base model 전체를 새로 학습하지 않습니다.

대신 다음처럼 합니다.

base model = 4-bit로 압축하고 고정
LoRA adapter = 새로 학습

즉, base model은 이미 많은 언어 지식과 일반 능력을 가지고 있습니다.
4-bit로 줄이면 약간의 정밀도 손실은 있지만, 기본 능력은 상당 부분 유지됩니다.

그 위에 LoRA adapter가 작업에 필요한 조정을 추가합니다.

예:

base model:
일반 언어 이해, 문법, 문맥 이해, 의료 용어 일부 이해

LoRA adapter:
이 프로젝트의 출력 형식, relevant/type/summary 판단 방식, clinical agenda extraction 방식 학습

따라서 base model을 4-bit로 줄여도 adapter가 특정 작업에 맞게 보정할 수 있습니다.

11. QLoRA에서 “base model을 4-bit로 양자화한다”의 정확한 의미

이 문장은 다음을 모두 포함합니다.

사전학습된 원본 LLM을 준비한다.
LLM 내부의 weight들을 대상으로 한다.
FP16/BF16/FP32 weight를 4-bit 코드로 압축한다.
코드와 scale 정보를 저장한다.
학습 중 base model weight는 고정한다.
forward 계산 때는 필요한 weight를 dequantize해서 사용한다.
실제 업데이트는 LoRA adapter에만 적용한다.

따라서 단순히 “파일 크기를 줄인다”가 아니라, 학습 가능한 구조를 유지하면서 원본 모델의 메모리 점유를 줄이는 절차입니다.

12. 쉬운 비유 1: 고화질 사진 압축

Base model을 고화질 사진이라고 생각하면 됩니다.

원본 모델 = 4K 고화질 사진
4-bit 양자화 = 압축된 JPG 사진

고화질 사진은 정보가 아주 풍부하지만 용량이 큽니다.

장점: 선명함
단점: 용량 큼

압축 사진은 용량이 작습니다.

장점: 저장하기 쉬움
단점: 약간 흐려짐

QLoRA는 이 압축 사진 위에 작은 보정 레이어를 붙이는 것과 같습니다.

압축된 사진은 그대로 둔다.
사진 전체를 다시 그리지 않는다.
필요한 부분만 작은 보정 스티커로 수정한다.

13. 쉬운 비유 2: 두꺼운 교과서 요약본

Base model은 두꺼운 교과서입니다.

base model = 1000페이지짜리 교과서

4-bit 양자화는 이 교과서를 압축 요약본으로 만드는 것과 비슷합니다.

원본 교과서 = 자세하고 무겁다.
압축 요약본 = 가볍고 들고 다니기 쉽다.

하지만 요약본은 일부 세부사항이 줄어듭니다.

QLoRA에서는 이 요약본을 직접 고치지 않습니다.
대신 옆에 포스트잇을 붙입니다.

요약본 = 4-bit base model
포스트잇 = LoRA adapter

포스트잇에는 특정 과목의 시험에 필요한 내용을 추가로 적습니다.

예:

이 프로젝트에서는 relevant/type/summary 형식으로 답해야 함
medication은 약물, 용량, 복약순응도 정보일 때 사용
follow_up은 검사, 처방, 재방문 계획일 때 사용

즉, 교과서 전체를 다시 쓰는 것이 아니라, 압축된 교과서 + 시험용 포스트잇으로 학습하는 방식입니다.

14. 쉬운 비유 3: 큰 기계를 압축 모드로 실행

Base model을 거대한 기계라고 생각하겠습니다.

base model = 거대한 언어 처리 기계

원래는 고성능 부품으로 움직입니다.

FP16/BF16 weight = 정밀한 고성능 부품

4-bit 양자화는 부품을 더 작고 가벼운 버전으로 바꾸는 것입니다.

4-bit weight = 작고 가벼운 부품

이렇게 하면 기계가 차지하는 공간과 무게가 줄어듭니다.

하지만 기계 전체를 새로 제작하지는 않습니다.

QLoRA는 여기에 작은 조절 장치를 붙입니다.

LoRA adapter = 작은 조절 장치

기계 본체는 그대로 쓰고, 조절 장치만 학습해서 특정 작업에 맞게 작동하도록 만드는 것입니다.

15. 핵심 요약

base model을 4-bit로 양자화한다

는 말은 다음 뜻입니다.

LLM 내부의 거대한 weight 숫자들을 4-bit 코드로 압축해서,
모델을 훨씬 적은 메모리로 저장하고 실행할 수 있게 만드는 과정

대상은 다음입니다.

base model 내부의 weight matrix

과정은 다음입니다.

FP16/BF16 weight 준비
→ weight 분포 확인
→ 4-bit 대표값 또는 codebook 설정
→ 각 weight를 4-bit code로 변환
→ scale 정보 저장
→ 계산 시 dequantize해서 사용

QLoRA에서의 목적은 다음입니다.

큰 모델을 작은 메모리에 올리고,
원본 모델은 고정한 채,
LoRA adapter만 학습하기 위해

가장 쉬운 비유는 다음입니다.

원본 모델 = 두꺼운 교과서
4-bit 양자화 = 가벼운 요약본
LoRA adapter = 시험에 맞춘 포스트잇
QLoRA = 요약본은 그대로 두고, 포스트잇만 학습하는 방식

metrics.py 평가 지표들 (ROUGE-1/2/L, BERT Score, BELU Score, P/R/F1, Agenda Completeness, Linking/Mentioned/Resolution Accuracy)

김형준 — Mon, 18 May 2026 16:14:49 +0900

1. ROUGE-1 / ROUGE-2 / ROUGE-L

구현:
compute_rouge()

scorer = rouge_scorer.RougeScorer(
    ["rouge1", "rouge2", "rougeL"],
    use_stemmer=True
)

정의

모델이 생성한 summary(prediction)와 정답 summary(reference)가 얼마나 단어 수준에서 겹치는지 측정하는 지표입니다.

Clinical summarization에서 가장 전통적으로 쓰이는 평가입니다.

ROUGE-1

의미

1-gram(단어 1개 단위) overlap

정답:

"persistent cough for three weeks"

예측:

"cough lasting three weeks"

공통 단어:

cough
three
weeks

같은 단어가 얼마나 많이 겹치는지 평가합니다.

평가하는 것

핵심 키워드 보존 여부
중요한 clinical term 포함 여부

즉:

cough
diabetes
chest pain
lisinopril

같은 의료 핵심 단어를 잘 잡았는지 평가합니다.

ROUGE-2

의미

2-gram(연속된 두 단어) overlap

예시:

정답:

"chest pain worsening"

예측:

"chest pain increasing"

공통 bigram:

chest pain

평가하는 것

단순 단어가 아니라 문장 구조와 phrase 수준 일치성을 평가합니다.

ROUGE-1보다 더 엄격합니다.

clinical phrase:

chest pain
shortness of breath
blood pressure

같은 표현을 정확히 재현했는지 봅니다.

ROUGE-L

의미

Longest Common Subsequence 기반

즉:
문장 순서를 유지하면서 얼마나 긴 공통 sequence가 존재하는지 평가합니다.

평가하는 것

문장 전체 구조 유사성

예시:

정답:

patient reports cough for three weeks

예측:

patient reports severe cough for three weeks

공통 subsequence:

patient reports cough for three weeks

길이가 길기 때문에 점수가 높습니다.

값 범위

0 ~ 1
높을수록 좋음

이 프로젝트에서 의미

Agenda summary가:

ground truth annotation과
lexical하게 얼마나 비슷한지

평가합니다.

즉: "문장을 얼마나 비슷하게 썼는가"

2. BERTScore

구현: compute_bertscore()

score(... model_type="microsoft/deberta-xlarge-mnli")

정의

ROUGE는 단어가 정확히 같아야 높은 점수가 나오지만,
BERTScore는 의미(semantic similarity)를 평가합니다.

Transformer embedding 공간에서 cosine similarity를 계산합니다.

예시

정답:

patient has chest pain

예측:

patient reports thoracic discomfort

ROUGE:

거의 낮음

BERTScore:

의미가 비슷하므로 높음

평가하는 것

Semantic correctness

의미 보존
paraphrase 허용
의학적 의미 일치

를 평가합니다.

계산 방식

대략적으로:

문장을 embedding
token 간 cosine similarity 계산
최적 matching 수행
precision/recall/F1 계산

출력값

원래는:

Precision
Recall
F1

하지만 현재는

return F1.mean().item()

semantic similarity F1 하나만 반환합니다.

값 범위

보통:

0 ~ 1
clinical task에서는 0.80 이상이면 꽤 높음

이 프로젝트에서 의미

모델이:

wording은 달라도
임상 의미를 유지했는지

평가합니다.

ROUGE보다 clinical summarization에 더 중요합니다.

3. BLEU Score

정의

BLEU(BiLingual Evaluation Understudy)는
모델이 생성한 문장이 정답 문장과 얼마나 정확하게 n-gram 수준에서 일치하는지 평가하는 precision 기반 지표입니다.

의미

모델 출력이:

정답 표현을
얼마나 정확하게
같은 단어 순서와 phrase로

재현했는가를 평가합니다.

평가 단위

BLEU는 보통:

unigram (1-gram)
bigram (2-gram)
trigram (3-gram)
4-gram

precision을 조합해서 계산합니다.

계산 방식

1. n-gram precision 계산

정답:

patient reports chest pain for two weeks

예측:

patient reports chest discomfort for two weeks

공통 unigram:

patient
reports
chest
for
two
weeks

공통 bigram:

patient reports
for two
two weeks

2. Brevity Penalty(BP)

모델이 너무 짧은 문장을 출력하면 패널티를 부여합니다.

예시:

정답:

patient reports severe chest pain for two weeks

예측:

chest pain

precision만 보면 높을 수 있지만,
정보를 과도하게 생략했으므로 penalty 적용

평가하는 것

평가 요소설명

표현 정확성	annotation wording을 얼마나 정확히 따라했는가
phrase consistency	clinical phrase를 제대로 재현했는가
문장 구조 유사성	단어 순서와 연결이 유사한가
lexical precision	불필요한 단어 생성이 적은가

값 범위

0 ~ 1
높을수록 좋음

이 프로젝트에서 의미

Agenda summary가:

human annotation wording과
얼마나 정확하게 일치하는가
annotation style consistency
표현 정확성
phrase-level fidelity

ROUGE / BERTScore/ BELUScore 차이

정식 이름	Recall-Oriented Understudy for Gisting Evaluation	BERTScore	BiLingual Evaluation Understudy
핵심 목적	정답 내용을 얼마나 많이 포함했는가	의미가 얼마나 비슷한가	정답 표현을 얼마나 정확히 따라했는가
평가 중심	Recall 중심	Semantic similarity 중심	Precision 중심
비교 방식	단어 overlap	embedding similarity	n-gram precision
기반 기술	문자열 비교	Transformer/BERT embedding	문자열 n-gram
의미 이해 가능?	거의 불가능	가능	거의 불가능
단어가 달라도 의미 같으면?	낮게 나옴	높게 나옴	낮게 나옴
문장 순서 영향	있음	상대적으로 적음	매우 큼
paraphrase 허용	약함	강함	매우 약함
clinical NLP 적합성	중간	매우 높음	낮은 편
summarization 적합성	매우 많이 사용	최근 가장 중요	상대적으로 덜 사용
translation 적합성	중간	중간	매우 강함
평가 대상	정보 누락 여부	의미 보존 여부	표현 정확성
잘 보는 것	핵심 키워드 포함	semantic correctness	wording fidelity
못 보는 것	의미 유사성	exact wording	semantic paraphrase
계산 단위	unigram/bigram/LCS	contextual embedding	1~4gram precision
대표 세부 지표	ROUGE-1/2/L	Precision/Recall/F1	BLEU-1~4
출력 범위	0~1	0~1	0~1
높을수록	정답 내용을 많이 포함	의미가 유사	표현이 정확
계산 비용	낮음	높음	낮음
속도	빠름	느림	빠름
LLM 평가 적합성	보통	매우 높음	제한적
hallucination 탐지	어려움	일부 가능	어려움
semantic paraphrase 평가	거의 불가	매우 강함	약함

4. Precision / Recall / F1 (Detection Metrics)

구현: compute_detection_metrics()

무엇을 평가?

이건 summary 품질이 아니라:

"이 utterance를 올바른 type으로 분류했는가" 평가합니다.

클래스들

ALL_CLASSES = [
    "agenda_item",
    "detail",
    "medication",
    "social_history",
    "follow_up",
    "question",
    "question_unanswered",
    "irrelevant"
]

Precision

정의

모델이 어떤 클래스로 예측한 것 중 실제로 맞은 비율

수식: Precision=TP / TP + FP

예시

모델이:

medication 10개 예측

실제로:

7개만 medication

Precision = 7/10 = 0.7

의미

거짓 탐지(false positive)가 적은가?

즉: "쓸데없는 agenda를 얼마나 덜 만들었는가"

Recall

정의

실제 존재하는 항목 중
모델이 찾아낸 비율

Recall = TP / TP + FN

예시

실제 medication:

20개 존재

모델이:

15개 발견

Recall = 15/20 = 0.75

의미

놓친 정보(FN)가 적은가?

clinical에서는 매우 중요합니다.

F1

정의

Precision과 Recall의 조화평균

F1=2PR / P + R

의미

precision만 높아도 안 됨
recall만 높아도 안 됨

둘의 균형 평가

5. Agenda Completeness

구현:
compute_agenda_completeness()

정의

실제 존재하는 agenda item 중
시스템이 얼마나 발견했는가

계산 방식

각 ground truth agenda item에 대해:

BERTScore(system_summary, reference_item)

를 계산하고,

threshold:

> 0.85

면 발견했다고 간주합니다.

예시

실제 agenda:

cough
chest pain
hypertension
smoking history

모델이:

cough
hypertension
smoking

찾음

→ completeness = 3/4 = 0.75

평가하는 것

전체 visit에서:"핵심 이슈를 얼마나 빠짐없이 추적했는가"

6. Linking Accuracy

구현:
compute_linking_accuracy()

정의

detail이 올바른 agenda item에 연결되었는가

예시

agenda:

cough
diabetes

detail:

"yellow sputum"

정답:

cough에 연결

시스템:

diabetes에 연결

→ 오답

평가 대상

state_tracker.py의 linking 시스템입니다.

embedding similarity 기반으로 parent agenda item 찾습니다.

7. Mentioned / First Mention Accuracy

구현:
compute_first_mention_accuracy()

정의

새로운 정보인지, 이미 나온 정보 반복인지 정확히 판별했는가

예시

처음:

patient has cough

나중:

cough still persistent

두 번째는 repeat입니다.

평가하는 것

conversation memory tracking 능력

구현 방식

state_tracker.py

cosine similarity > threshold

이면 repeated로 판단합니다.

8. Resolution Accuracy

구현:
compute_resolution_accuracy()

정의

agenda item 상태를 올바르게 추적했는가

상태:

mentioned
discussed
resolved
unresolved

예시

환자가:

chest pain 있어요

의사가:

검사합시다

→ resolved

근데 시스템이:

discussed로 남김

→ 오답

PEFT 중 LoRA 파인튜닝은 무엇인가? LoRA 이해하기

김형준 — Mon, 18 May 2026 16:10:15 +0900

LoRA 개요

1. 정의

LoRA(Low-Rank Adaptation)는 대형 언어 모델(LLM)의 전체 가중치를 직접 학습하지 않고, 기존 가중치는 고정한 상태에서 작은 추가 학습 모듈만 학습하는 파라미터 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법입니다.

일반적인 full fine-tuning은 모델의 모든 파라미터를 업데이트합니다. 예를 들어 7B 모델이면 약 70억 개 파라미터 전체가 학습 대상입니다. LoRA는 모델의 가중치 대부분을 그대로 두고, 일부 레이어에 작은 행렬 두 개를 추가한 뒤 그 행렬만 학습합니다.

정리하면 다음과 같습니다.

기존 fine-tuning	모델 전체 가중치 W를 직접 업데이트
LoRA	기존 W는 고정하고, 작은 보정값 ΔW만 학습
목적	적은 메모리와 적은 학습 파라미터로 모델을 특정 작업에 적응
핵심 아이디어	“큰 변화도 실제로는 낮은 차원의 작은 변화로 표현할 수 있다”는 가정

즉, LoRA는 큰 모델을 통째로 다시 학습하지 않고, 모델 내부에 작은 조정 장치를 붙여서 원하는 작업에 맞게 조정하는 방식입니다.

2. LoRA가 필요한 이유

2.1 Full Fine-Tuning의 문제

대형 언어 모델을 특정 작업에 맞게 학습시키려면 보통 fine-tuning을 합니다. 예를 들어 의료 대화에서 agenda item을 추출하는 모델을 만들고 싶다면, Llama 같은 사전학습 모델을 의료 대화 데이터로 추가 학습시켜야 합니다.

그러나 full fine-tuning에는 다음 문제가 있습니다.

문제설명

메모리 사용량 큼	모델 전체 파라미터, gradient, optimizer state를 모두 저장해야 함
저장 공간 큼	작업마다 전체 모델 checkpoint를 저장해야 함
학습 비용 큼	GPU 메모리와 시간이 많이 필요
배포 비효율	작업별로 큰 모델 파일을 따로 관리해야 함
과적합 위험	데이터가 적은 경우 전체 모델을 수정하면 일반 성능이 손상될 수 있음

예를 들어 7B 모델을 full fine-tuning하면 단순히 모델 가중치만 필요한 것이 아닙니다. 학습 중에는 gradient, optimizer state, activation까지 필요합니다. Adam optimizer를 사용하면 optimizer state가 매우 커지므로 실제 메모리 요구량은 모델 크기보다 훨씬 커집니다.

2.2 LoRA의 해결 방식

LoRA는 다음 방식으로 문제를 줄입니다.

기존 모델 파라미터는 freeze합니다.
작은 adapter 행렬만 학습합니다.
작업별로 adapter만 저장합니다.
추론 시 원본 모델 + adapter를 조합합니다.

따라서 작업 A, 작업 B, 작업 C가 있어도 모델 전체를 각각 저장할 필요가 없습니다. 원본 모델 하나와 LoRA adapter 여러 개만 저장하면 됩니다.

3. LoRA의 핵심 수식

3.1 기본 선형 레이어

Transformer 내부에는 많은 선형 변환이 있습니다. 예를 들어 어떤 레이어의 weight를 W라고 하면 일반적인 계산은 다음과 같습니다.

h = W x

여기서:

기호의미

x	입력 벡터
W	원래 모델의 weight matrix
h	출력 벡터

Full fine-tuning에서는 W 자체를 업데이트합니다.

W ← W + update

3.2 LoRA 적용 후

LoRA에서는 W를 직접 바꾸지 않습니다. 대신 W 옆에 작은 보정값 ΔW를 추가합니다.

h = W x + ΔW x

여기서 ΔW는 다음과 같이 두 개의 작은 행렬 곱으로 표현됩니다.

ΔW = B A

따라서 전체 계산은 다음과 같습니다.

h = W x + B A x

여기서:

기호의미

W	기존 모델의 원래 가중치, 학습하지 않음
A	작은 down-projection 행렬, 학습함
B	작은 up-projection 행렬, 학습함
ΔW	LoRA가 만들어내는 보정 가중치
r	rank, LoRA 내부 차원

3.3 차원 예시

원래 weight W의 크기가 다음과 같다고 하겠습니다.

W: 4096 × 4096

그러면 W의 파라미터 수는 다음과 같습니다.

4096 × 4096 = 16,777,216

약 1,677만 개입니다.

LoRA rank r = 8이라면 A와 B는 보통 다음 크기를 가집니다.

A: 8 × 4096
B: 4096 × 8

LoRA 학습 파라미터 수는 다음과 같습니다.

A 파라미터 수 = 8 × 4096 = 32,768
B 파라미터 수 = 4096 × 8 = 32,768
총합 = 65,536

비교하면 다음과 같습니다.

방식학습 파라미터 수

W 전체 학습	16,777,216
LoRA rank 8	65,536

즉, 해당 레이어 기준으로 학습 파라미터 수가 약 256분의 1 수준으로 줄어듭니다.

4. Low-Rank의 의미

4.1 Rank란 무엇인가

행렬의 rank는 행렬이 표현할 수 있는 독립적인 정보의 차원입니다. 쉽게 말하면, 어떤 큰 행렬이 실제로는 몇 개의 핵심 방향으로 설명될 수 있는지를 나타냅니다.

LoRA의 가정은 다음과 같습니다.

대형 모델을 특정 작업에 맞게 조정할 때 필요한 변화량 ΔW는 전체 차원을 모두 사용할 필요가 없고, 낮은 rank의 작은 행렬로도 충분히 표현할 수 있다.

즉, 모델 전체를 크게 바꿔야 하는 것처럼 보이지만 실제로는 특정 작업에 필요한 변화가 비교적 저차원 구조를 가진다고 보는 것입니다.

4.2 직관적 설명

예를 들어 어떤 LLM이 이미 언어 이해, 문법, 일반 지식, 추론 능력을 가지고 있다고 하겠습니다. 의료 대화 요약 작업을 추가로 학습할 때는 모델 전체 지식을 처음부터 다시 배우는 것이 아닙니다.

필요한 것은 대체로 다음과 같은 조정입니다.

의료 대화에서 어떤 발화가 중요한지 구분
증상, 약물, 검사, follow-up을 잘 요약
출력 형식을 JSON으로 맞춤
불필요한 인사말은 irrelevant로 분류
환자 발화와 의사 발화를 구분

이런 변화는 모델 전체 지식의 완전한 재학습이 아니라, 기존 능력 위에 얹는 작업별 조정에 가깝습니다. LoRA는 이 조정을 작은 행렬로 표현합니다.

5. LoRA가 적용되는 위치

LoRA는 Transformer의 모든 가중치에 붙일 수도 있지만, 일반적으로 특정 projection layer에만 붙입니다.

대표적인 적용 위치는 다음과 같습니다.

위치설명

q_proj	Query projection
k_proj	Key projection
v_proj	Value projection
o_proj	Attention output projection
gate_proj	MLP gate projection
up_proj	MLP up projection
down_proj	MLP down projection

5.1 Attention 내부 적용

Transformer attention에서는 입력 hidden state가 Q, K, V로 변환됩니다.

Q = Wq x
K = Wk x
V = Wv x

LoRA를 q_proj와 v_proj에 적용하면 다음과 같습니다.

Q = Wq x + Bq Aq x
V = Wv x + Bv Av x

즉, 원래 attention 계산 구조는 유지하되 query와 value 계산에 작은 학습 가능한 보정 경로를 추가합니다.

5.2 Query

Q(Query)는 현재 토큰이 “무엇을 찾고 있는지”를 나타내는 벡터입니다.

수식으로는 다음과 같습니다.

Q = Wq x

여기서:

기호의미

x	입력 hidden state
Wq	Query projection matrix
Q	query vector

즉, 원래 입력 x를 Wq라는 행렬로 변환해서 Query 벡터를 만듭니다.

5.2.2 역할

Q는 현재 토큰의 관점에서 만들어집니다.

예를 들어 she라는 토큰의 Q는 다음 의미에 가깝습니다.

나는 내가 가리키는 대상이 누구인지 찾고 싶다.

pain이라는 토큰의 Q는 다음 의미에 가깝습니다.

나는 어떤 부위의 통증인지, 누가 겪는 통증인지 알고 싶다.

즉, Q는 현재 토큰이 다른 토큰에게 던지는 질문입니다.

5.3 K: Key

5.3.1 정의

K(Key)는 각 토큰이 “나는 이런 정보를 가지고 있다”라고 표시하는 벡터입니다.

수식은 다음과 같습니다.

K = Wk x

여기서:

기호의미

x	입력 hidden state
Wk	Key projection matrix
K	key vector

5.3.2 역할

K는 각 토큰의 검색용 태그 또는 주소표 역할을 합니다.

예를 들어 patient라는 토큰의 K는 다음 정보와 관련될 수 있습니다.

나는 사람/환자/주어에 관한 정보다.

chest라는 토큰의 K는 다음 정보와 관련될 수 있습니다.

나는 신체 부위 정보다.

pain이라는 토큰의 K는 다음 정보와 관련될 수 있습니다.

나는 증상 정보다.

Q와 K는 서로 비교됩니다.

Q · K

이 값이 크면 현재 토큰이 해당 토큰을 많이 참고합니다.
이 값이 작으면 적게 참고합니다.

5.4 V: Value

5.4.1 정의

V(Value)는 attention으로 선택되었을 때 실제로 가져오는 정보입니다.

수식은 다음과 같습니다.

V = Wv x

여기서:

기호의미

x	입력 hidden state
Wv	Value projection matrix
V	value vector

5.4.2 역할

Q와 K는 “얼마나 참고할지”를 정하는 데 사용됩니다.
V는 “참고한 뒤 실제로 가져올 내용”입니다.

즉:

Q와 K = 관련도 계산용
V = 실제 정보 전달용

예를 들어 she가 patient를 강하게 참고한다고 하면, 모델은 patient의 V를 많이 가져옵니다. 그 결과 she의 표현에는 “patient와 관련된 정보”가 반영됩니다.

5.5 Q, K, V 전체 흐름

Transformer attention의 전체 흐름은 다음과 같습니다.

각 토큰의 hidden state x에서 Q, K, V를 만든다.

현재 토큰의 Q와 모든 토큰의 K를 비교한다.

비교 점수에 softmax를 적용해서 attention weight를 만든다.

attention weight를 이용해 각 토큰의 V를 가중합한다.

그 결과가 현재 토큰의 새로운 표현이 된다.

수식으로는 다음과 같습니다.

Attention(Q, K, V) = softmax(QKᵀ / √d) V

각 부분의 의미는 다음과 같습니다.

5.6 어디에 붙이는 것이 좋은가

일반적으로 다음 기준을 따릅니다.

설정특징

q_proj, v_proj만 적용	가장 가벼움. 메모리 절약 큼
q_proj, k_proj, v_proj, o_proj 적용	attention 전체 조정 가능
attention + MLP 전체 적용	성능은 좋아질 수 있으나 학습 파라미터 증가
all linear 적용	가장 강력하지만 비용 증가

작은 데이터셋에서는 너무 많은 레이어에 LoRA를 붙이면 과적합이 발생할 수 있습니다. 반대로 복잡한 작업에서는 q_proj, v_proj만으로 부족할 수 있습니다.

6. LoRA 학습 절차

6.1 전체 절차

LoRA 학습은 다음 순서로 진행됩니다.

사전학습 모델 로드
모델 파라미터 freeze
LoRA adapter 삽입
학습 데이터 준비
adapter만 학습
검증 데이터로 평가
adapter 저장
추론 시 원본 모델과 adapter 결합

6.2 단계별 설명

1단계. Base Model 선택

예시:

Llama 3.2 3B
Mistral 7B
Qwen 계열 모델
Gemma 계열 모델

프로젝트 문서 기준으로는 Llama 3.2 3B를 primary model로 사용하고, fine-tuning은 QLoRA rank 32–64로 계획되어 있습니다.

2단계. 데이터 형식 정의

예를 들어 agenda extraction 모델을 학습한다면 입력과 출력은 다음처럼 구성할 수 있습니다.

{
  "input": "[Context]: Patient presents with chronic cough | Cough produces yellow mucus\n[Utterance]: [Patient] Night sweats too, maybe for a week.",
  "output": "{\"relevant\": true, \"type\": \"detail\", \"summary\": \"Patient reports night sweats for approximately one week\"}"
}

프로젝트 문서에서도 모델 입력은 [Context]와 [Utterance]이고, 출력은 relevant, type, summary의 3개 필드로 제한됩니다.

3단계. Tokenization

입출력 문장을 tokenizer로 변환합니다.

문자열 → token id sequence

학습에서는 보통 instruction 부분은 loss에서 제외하고, output 부분에 대해서만 loss를 계산하는 방식을 사용합니다.

예:

입력: [Context] ... [Utterance] ...
정답: {"relevant": true, ...}

모델이 정답 JSON을 생성하도록 학습합니다.

4단계. LoRA 설정

대표적인 설정값은 다음과 같습니다.

항목의미

r	LoRA rank
lora_alpha	LoRA scaling factor
lora_dropout	adapter 경로 dropout
target_modules	LoRA를 붙일 레이어
bias	bias 학습 여부
task_type	causal LM, seq2seq 등

예시 설정:

r = 16
lora_alpha = 32
lora_dropout = 0.05
target_modules = ["q_proj", "v_proj"]

5단계. 학습

학습 중 업데이트되는 것은 LoRA adapter의 A, B 행렬뿐입니다.

원본 모델 W: 고정
LoRA A: 학습
LoRA B: 학습

6단계. 저장

학습 후 저장되는 것은 보통 adapter weight입니다.

adapter_model.safetensors
adapter_config.json

원본 모델을 다시 저장할 필요가 없습니다.

7단계. 추론

추론 시에는 다음 구조로 사용합니다.

Base Model + LoRA Adapter

또는 adapter를 base model에 merge하여 사용할 수 있습니다.

7. LoRA의 주요 하이퍼파라미터

7.1 r, rank

r은 LoRA의 내부 차원입니다.

ΔW = B A
A: r × input_dim
B: output_dim × r

r이 작으면 학습 파라미터가 적고 가볍습니다.
r이 크면 표현력이 커지지만 메모리 사용량과 과적합 위험이 증가합니다.

r 값특징

4	매우 가벼움, 단순 작업에 적합
8	일반적인 저비용 설정
16	성능과 비용 균형
32	복잡한 instruction tuning에 자주 사용
64	더 강한 적응 가능, 비용 증가
128 이상	큰 데이터 또는 고난도 작업에서 고려

프로젝트 문서에서는 QLoRA rank 32–64를 계획하고 있습니다. 이는 agenda extraction처럼 출력 형식과 도메인 적응이 모두 필요한 작업에서 비교적 강한 adapter를 쓰려는 설정입니다.

7.2 lora_alpha

lora_alpha는 LoRA 보정값의 scale을 조절합니다.

일반적으로 LoRA 출력은 다음처럼 scaling됩니다.

h = W x + (alpha / r) B A x

여기서 alpha / r이 scaling factor입니다.

설정영향

alpha가 작음	LoRA 영향 약함
alpha가 큼	LoRA 영향 강함
alpha/r	실제 보정 강도

예:

r = 16
alpha = 32
alpha/r = 2

7.3 learning rate

LoRA는 전체 모델보다 학습 파라미터가 적기 때문에 full fine-tuning보다 learning rate를 크게 잡는 경우가 많습니다.

일반 범위:

1e-4 ~ 2e-4: 일반 LoRA/QLoRA instruction tuning
5e-5: 안정적인 task fine-tuning
1e-5: 작은 실제 데이터로 calibration

프로젝트 문서에서도 3단계 학습률을 다음처럼 설정합니다.

단계데이터학습률

Phase 1	Synthetic + NoteChat subset	1e-4
Phase 2	MTS-Dialog + ACI + PriMock + AMI	5e-5
Phase 3	Penn Medicine train conversations	1e-5

해당 구성은 “대규모 일반 적응 → 작업 적응 → 실제 데이터 보정” 순서입니다.

8. LoRA의 장점

8.1 학습 파라미터 수 감소

LoRA의 가장 큰 장점은 학습할 파라미터 수가 매우 적다는 점입니다.

예를 들어 전체 모델이 7B라도 실제 학습 파라미터는 수백만 개에서 수천만 개 수준일 수 있습니다. 이는 전체 대비 1% 미만인 경우가 많습니다.

8.2 GPU 메모리 절약

원본 모델을 업데이트하지 않으므로 gradient와 optimizer state를 전체 파라미터에 대해 저장할 필요가 없습니다.

메모리 측면에서 대략 다음과 같이 차이가 납니다.

방식메모리 부담

Full fine-tuning	매우 큼
LoRA	중간 이하
QLoRA	더 작음

8.3 저장 공간 절약

작업별로 전체 모델 checkpoint를 저장하지 않고 adapter만 저장합니다.

예:

base_model/
adapter_medical_summary/
adapter_code_generation/
adapter_clinical_agenda/
adapter_customer_service/

작업별 adapter만 교체하면 같은 base model을 여러 용도로 사용할 수 있습니다.

8.4 배포 유연성

하나의 base model에 여러 adapter를 붙일 수 있습니다.

예:

Adapter목적

clinical_agenda_lora	의료 대화 agenda 추출
summarization_lora	문서 요약
legal_lora	법률 문서 분석
customer_support_lora	고객 상담 응답

8.5 과적합 완화

작은 데이터셋에서 전체 모델을 업데이트하면 모델의 일반 능력이 손상될 수 있습니다. LoRA는 변경 가능한 부분을 제한하므로 과도한 변형을 줄일 수 있습니다.

9. LoRA의 단점

9.1 표현력 제한

LoRA는 low-rank 업데이트만 허용합니다. 따라서 작업이 매우 복잡하거나 기존 모델 능력과 크게 다른 경우에는 full fine-tuning보다 성능이 낮을 수 있습니다.

예:

기존 모델이 거의 모르는 언어 학습
매우 특수한 수학/코드 도메인
새로운 modality 처리
기존 tokenizer로 표현이 어려운 도메인

10. LoRA와 Prompt Tuning의 차이

Prompt tuning은 모델 앞에 학습 가능한 virtual token을 붙이는 방식입니다.

구분Prompt TuningLoRA

학습 대상	입력 앞의 virtual prompt embedding
모델 내부 수정	거의 없음
성능	작은 모델에서는 제한적일 수 있음
LoRA	모델 내부 projection에 low-rank adapter 삽입
표현력	LoRA가 일반적으로 더 큼

Prompt tuning은 매우 가볍지만, 모델 내부 계산 자체를 조정하는 능력은 LoRA보다 약한 경우가 많습니다.

12. LoRA와 Full Fine-Tuning 비교

항목Full Fine-TuningLoRA

학습 대상	전체 모델
메모리 사용	매우 큼
저장 파일	전체 모델 checkpoint
성능 상한	높음
과적합 위험	데이터 적으면 높음
작업별 관리	비효율적
LoRA 학습 대상	adapter만
LoRA 메모리	작음
LoRA 저장 파일	adapter만
LoRA 성능	대부분 작업에서 효율 대비 우수
LoRA 배포	base model + adapter

정리하면 full fine-tuning은 가장 직접적이고 강력하지만 비용이 큽니다. LoRA는 약간의 성능 손실을 감수할 수 있는 대신 훨씬 효율적입니다.

13. LoRA와 QLoRA의 관계

13.1 QLoRA 정의

QLoRA는 Quantized LoRA입니다.

LoRA는 원본 모델을 보통 FP16 또는 BF16 상태로 두고 adapter만 학습합니다.
QLoRA는 원본 모델을 4-bit로 양자화한 상태에서 adapter만 학습합니다.

즉:

LoRA = 원본 모델 고정 + low-rank adapter 학습
QLoRA = 4-bit 원본 모델 고정 + low-rank adapter 학습

13.2 비교

항목LoRAQLoRA

원본 모델 precision	FP16/BF16이 일반적
QLoRA 원본 모델 precision	4-bit
학습 대상	adapter
QLoRA 학습 대상	adapter
메모리 사용	작음
QLoRA 메모리 사용	더 작음
장점	안정적, 구현 단순
QLoRA 장점	저메모리 환경에서 큰 모델 학습 가능
단점	QLoRA보다 메모리 큼
QLoRA 단점	양자화 관련 복잡성 증가

프로젝트처럼 Jetson AGX Orin 환경에서 Llama 3.2 3B를 다루는 경우, QLoRA가 더 현실적입니다. 문서에서도 Llama 3.2 3B는 GGUF Q4_K_M 형태로 운용되고, fine-tuning은 QLoRA로 계획되어 있습니다.

14. LoRA의 내부 동작 상세

14.1 기존 weight update 관점

Full fine-tuning에서는 어떤 레이어의 weight가 다음처럼 바뀝니다.

W' = W + ΔW

여기서 ΔW는 W와 같은 크기의 큰 행렬입니다.

LoRA는 이 ΔW를 직접 학습하지 않고, 낮은 rank 행렬 곱으로 근사합니다.

ΔW ≈ B A

따라서:

W' = W + B A

그러나 실제 학습 중에는 W'를 직접 만들지 않고 forward 계산에서 다음처럼 더합니다.

output = W x + B A x

14.2 초기화 방식

일반적으로 LoRA에서는 A는 random initialization, B는 zero initialization을 사용합니다.

이유는 학습 시작 시 모델 출력이 원본 모델과 동일하도록 만들기 위해서입니다.

B = 0이면
B A x = 0
따라서 output = W x

즉, 학습 시작 시점에는 LoRA가 모델 행동을 바꾸지 않습니다. 이후 학습이 진행되면서 B와 A가 업데이트되어 점진적으로 보정 효과를 만듭니다.

14.3 Scaling

LoRA 출력은 보통 다음처럼 scaling됩니다.

output = W x + (alpha / r) B A x

이 scaling은 LoRA 보정값이 너무 작거나 너무 커지는 것을 조절합니다.

15. LoRA 파라미터 수 계산법

어떤 linear layer가 다음 shape을 가진다고 하겠습니다.

W: d_out × d_in

LoRA rank가 r이면:

A: r × d_in
B: d_out × r

LoRA 파라미터 수:

r × d_in + d_out × r
= r(d_in + d_out)

예시:

d_in = 4096
d_out = 4096
r = 16

LoRA params = 16 × (4096 + 4096)
            = 16 × 8192
            = 131,072

원래 W는:

4096 × 4096 = 16,777,216

비율:

131,072 / 16,777,216 = 0.0078125

즉, 약 0.78%입니다.

16. LoRA가 학습하는 것

LoRA가 학습하는 것은 “새로운 지식 전체”라기보다, 기존 모델의 특정 표현을 작업에 맞게 조정하는 방향입니다.

예를 들어 의료 대화 agenda extraction에서 LoRA는 다음을 학습합니다.

환자의 주호소를 agenda_item으로 분류
증상 기간, 강도, 위치를 detail로 분류
약물 이름과 복용량을 medication으로 분류
검사, 처방, referral을 follow_up으로 분류
질문이 미해결이면 question_unanswered로 분류
출력을 지정된 JSON 형식으로 생성
불필요한 발화는 relevant=false로 처리

프로젝트 문서에서도 모델 출력은 relevant, type, summary 세 필드로 제한되며, linking이나 resolution tracking은 모델이 아니라 deterministic system tracker의 역할로 분리되어 있습니다.

17. LoRA와 Quantization

17.1 Quantization이란

Quantization은 모델 weight를 FP16, BF16 같은 고정밀 형식에서 INT8, INT4 같은 저정밀 형식으로 줄이는 방법입니다.

목적:

메모리 감소
추론 속도 향상 가능
저사양 장비 배포

17.2 LoRA와 Quantization 조합

LoRA는 양자화와 잘 결합됩니다.

대표 조합:

8-bit base model + LoRA
4-bit base model + LoRA = QLoRA

프로젝트에서는 Jetson 환경에서 GGUF Q4_K_M 형식을 사용합니다. 문서상 Llama 3.2 3B Q4_K_M의 예상 메모리는 약 2GB, 속도는 약 40–60 tok/s로 제시되어 있습니다.

18. LoRA를 한 문장으로 요약

LoRA는 거대한 LLM 전체를 다시 학습하지 않고, 기존 모델을 고정한 채 작은 low-rank 보정 행렬만 학습하여 특정 작업에 맞게 모델을 효율적으로 조정하는 방법입니다.

더 짧게 말하면 다음과 같습니다.

LoRA = 원본 모델은 그대로 두고, 작은 adapter만 학습하는 fine-tuning 방식

QLoRA까지 포함하면 다음과 같습니다.

QLoRA = 4-bit로 줄인 원본 모델 위에 LoRA adapter만 학습하는 저메모리 fine-tuning 방식

19. 핵심 암기 표

개념설명

LoRA	Low-Rank Adaptation
목적	대형 모델을 적은 비용으로 fine-tuning
핵심	W는 고정, ΔW만 학습
수식	W' = W + BA
학습 대상	A, B 행렬
r	LoRA rank, adapter 내부 차원
alpha	LoRA 보정값 scale
dropout	adapter 경로 regularization
target_modules	LoRA를 붙일 레이어
장점	메모리 절약, 저장 공간 절약, 빠른 학습
단점	표현력 제한, 설정 민감도
QLoRA	4-bit 양자화 모델 + LoRA
프로젝트 적용	Llama 3.2 3B를 agenda extraction용으로 QLoRA fine-tuning

20. 최종 정리

LoRA를 이해할 때 가장 중요한 구조는 다음 하나입니다.

기존 모델:
output = W x

LoRA 적용:
output = W x + B A x

여기서 W는 학습하지 않습니다.
A와 B만 학습합니다.
A와 B는 작습니다.
그래서 학습이 가볍습니다.
하지만 W에 대한 보정 효과를 낼 수 있습니다.

따라서 LoRA는 LLM fine-tuning에서 가장 많이 쓰이는 효율화 기법 중 하나입니다. 특히 GPU 메모리가 제한된 환경, 여러 작업별 adapter를 관리해야 하는 환경, 데이터가 아주 많지는 않지만 특정 출력 형식과 도메인 적응이 필요한 환경에서 매우 적합합니다.

처음 만나는 인공지능 연습문제 모음2 (체험인공지능 대비)

김형준 — Wed, 6 May 2026 17:37:16 +0900

1장

인공지능은 인간의 지능 활동을 컴퓨터에 접목하는 기술이다.
답: O
인공지능의 역사는 그리 오래되지 않았으나, 약 150년 정도의 전통을 가지고 있다.
답: X, 인공지능 연구는 1950년대부터 시작되었다.
4차 산업혁명은 인공지능 기술과 관련이 깊다.
답: O
최근 인간 두뇌를 구현하기 위한 연구가 진전되어, 이미 감정이나 의식을 가진 인공지능이 개발되어 있다.
답: X, 인간과 같은 감정·의식을 가진 인공지능은 아직 개발되지 않았다.
좌뇌는 음악과 문학 등의 예술적 사고나 추상적인 사고를 담당한다.
답: X, 예술적·추상적 사고는 우뇌의 기능이다.
민스키는 비교적 초기 인공지능 연구자에 속하는 인물로서 인공지능 연구에 큰 공헌을 하였다.
답: O
인공지능 바둑 프로그램인 알파고는 인공지능 초창기인 1970년대에 개발되었다.
답: X, 알파고는 2010년대에 개발되었다.
인공지능이 만드는 문장에서 가장 핵심적인 사항은 구문도 맞고 의미가 통해야 한다.
답: O
인공지능 소프트웨어 기자인 기자 로봇은 현재 미국에서 주식 시황이나 스포츠 기사를 실제로 작성하며 활동하고 있다.
답: O
자율주행 자동차는 현재 상업용으로 활발하게 이용되고 있다.
답: X, 현재는 시범 운영 및 개발 단계이다.
고등학생 수준의 인공지능 글쓰기는 미국에서는 이미 가능하다.
답: X, 교재 기준으로는 미래에 가능할 것으로 전망하였다.
인공지능이 그린 미술 작품 중 실제 5억 원 정도에 거래된 작품도 있다.
답: O
그래픽카드의 핵심 칩으로 인공지능 프로그램에서 그래픽 정보를 빠르게 처리하는 것은?
답: GPU
1957년 로젠블럿이 개발하여 문자를 인식할 수 있었던 시스템은?
답: 퍼셉트론
생각하는 기계에 대한 논리를 구상하고 튜링 테스트를 처음 제안한 사람은?
답: 앨런 튜링
인간 두뇌는 수많은 무엇으로 이루어져 있는가?
답: 뉴런(신경세포)
좌뇌는 규칙 기반 인공지능과 연관이 많고, 우뇌는 ( )에 적합한 신경망과 관련이 많다.
답: 학습
1956년 다트머스 워크숍에서 인공지능이라는 용어를 처음 제안한 사람은?
답: 존 매카시
1997년 IBM이 개발한 체스 전용 컴퓨터는?
답: 딥 블루
인공지능 기술의 발달로 머지않아 상용화되면 운전사들의 일자리가 줄어들 수 있는 것은?
답: 자율주행 자동차
다음 중 인공지능 주제와 관련이 비교적 적은 것은?

인간의 지능을 모델링하는 기술
인간 두뇌에 도전하는 기술
지능적인 원리를 컴퓨터에 적용하는 기술
현재 대부분의 문제 해결이 가능한 기술
답: 4번

22. 다음의 컴퓨터 장치 중 인간 두뇌와 관련이 가장 적은 기능은?

연산 기능
출력 기능
제어 기능
기억 기능
답: 2번

23. 인공지능이 도전하여 아직은 가능성이 별로 크지 않은 분야는?

시
소설
창의적 작품
미술
답: 2번

주관식

인공지능이란 무엇인지 설명하시오.
답: 인간의 학습, 추론, 판단, 인식 등의 지능 활동을 컴퓨터로 구현하는 기술이다.
인공지능이 인간을 완전히 따라오기 어려운 능력은 무엇인가?
답: 감정, 의식, 창의성, 윤리적 판단 등
1956년에 인공지능 연구가 시작된 계기는 무엇인가?
답: 다트머스 대학 하계 워크숍
인공지능에서 사용되는 하드웨어와 소프트웨어의 예를 쓰시오.
답: 하드웨어: GPU, TPU, 클라우드 서버 / 소프트웨어: TensorFlow, Pytorch, Spark

2장

코타나는 마이크로소프트의 인공지능 도우미이다.
답: O
인공지능 관련 특허에서 한국 기업은 아직 세계 10위권에도 들지 못하고 있다.
답: X, 한국은 세계 상위권 수준이다.
인공지능 기술의 핵심인 신경망과 딥러닝 알고리즘은 소프트웨어에 속하지 않는다.
답: X, 신경망과 딥러닝은 소프트웨어 기술이다.
중국이나 일본 등에서는 국가 차원에서 인공지능 교육을 강화하고 있다.
답: O
얼굴인식을 바탕으로 중국의 대형마트 등에서는 얼굴인식 결제를 사용하고 있다.
답: O
인공지능은 로봇공학과 결합하여 인간과 교감하는 휴머노이드 개발이 진행 중이다.
답: O
인공지능 컴퓨터인 왓슨은 암 발견과 치료를 수행하는 시스템으로 발전하고 있다.
답: O
가사도우미 로봇인 소피아는 60여 개 감정을 표현하며 사람과 대화할 수 있다.
답: O
인공지능은 인문학과 법학과는 관계가 없다.
답: X, 인공지능은 인문학·법학 등과 융합되고 있다.
미국에서는 인공지능 변호사가 법조인의 업무를 보조하는 역할은 합법적이다.
답: O
기술의 원천인 프로그램의 소스 코드를 누구에게나 무료로 제공하는 것은?
답: 오픈 소스
삼성전자의 인공지능 도우미는?
답: 빅스비
애플의 인공지능 도우미는 시리이고, 구글의 인공지능 도우미는?
답: 구글 어시스턴트
구글은 코타나라는 인공지능 소프트웨어를 개방하였다.
답: X, 코타나는 마이크로소프트의 인공지능 도우미이다.
인공지능 스피커의 ( ) 기능을 통해 집안 기기를 목소리로 제어할 수 있다.
답: 음성인식
‘칵테일 바텐더 로봇’과 ‘바리스타 봇’은 인공지능 ( ) 로봇에 속한다.
답: 서비스
비닐하우스 등에 인공지능과 사물인터넷을 적용하여 원격으로 농장을 관리하는 것은?
답: 스마트 팜
다음 중 인공지능 활용과 비교적 관련이 적은 것은?

인물 검색
법률 자문
간호 업무
주식 분석
답: 1번

19. 다음 중 우리나라가 인공지능 강국이 되는 방법과 관련이 적은 것은?

인공지능 제품의 상용화
인공지능 연구와 개발
인공지능 용어 검색
인공지능 교육 강화
답: 3번

20. 추천 시스템의 대상이 아닌 것은?

자주 검색한 상품
알렉사
감상한 유튜브 동영상
검색한 도서
답: 2번

주관식

우리나라가 인공지능 강국이 되기 위해 필요한 노력은 무엇인가?
답: 연구개발 투자, 인재 양성, 인공지능 교육 강화

3장

연결주의 인공지능 계열에 속하는 것은 규칙 기반 인공지능이다.
답: X, 연결주의는 신경망 기반 인공지능이다.
최초의 체스 프로그램은 인공지능이라는 단어가 나오기 전에 만들어졌다.
답: O
마이신은 혈액 감염을 진단하고 처방하기 위해 만들어진 의학 전문가 시스템이다.
답: O
데이터를 전문적으로 다루고 분석하는 데이터 과학자의 수요는 점차 감소하고 있다.
답: X, 데이터 과학자의 수요는 증가하고 있다.
인류 최초의 전자식 컴퓨터인 에니악은 1946년에 발표되었다.
답: O
왓슨은 질문을 이해할 수 있으나 음성으로 답변할 수는 없다.
답: O
엘리자는 앨런 튜링에 의해 만들어진 초기 자연어 처리 프로그램이다.
답: X, 엘리자는 조셉 와이젠바움이 개발하였다.
인공지능은 크게 규칙 기반 인공지능과 신경망 기반 인공지능으로 나누어진다.
답: O
규칙 기반 인공지능의 장점은 학습을 잘할 수 있다는 점이다.
답: X, 규칙 기반 인공지능은 규칙 추론에 강점이 있다.
신경망은 주로 패턴 인식에 활용되며 학습 시간이 오래 걸린다.
답: O
인공지능 슈퍼컴퓨터인 딥 블루가 바둑 세계 챔피언에 등극하였다.
답: X, 딥 블루는 체스 전용 시스템이다.
문제 해결 방법 중 하나는 블록 다이어그램을 그려 단계별로 분석하는 것이다.
답: O
엄청난 양의 데이터를 수집하여 머신러닝과 통계 기법으로 분석하는 기술은?
답: 빅데이터
반복적인 작업들을 자동화시켜 사용자를 돕는 컴퓨터 프로그램은?
답: 지능형 에이전트
인간 전문가를 대신할 수 있는 인공지능 시스템은?
답: 전문가 시스템
규칙 기반 인공지능에서 선험적 규칙이라고도 불리는 방법은?
답: 휴리스틱
수많은 프로기사의 기보를 분석하고 딥러닝을 활용한 바둑 인공지능은?
답: 알파고
말하는 사람과 관계없이 누구에게나 작동하는 음성인식은?
답: 화자독립 음성인식
인간과의 대화를 통해 기계의 지능을 판별하는 시험 방법은?
답: 튜링 테스트
컴퓨터에서 수행하는 절차를 프로그램으로 작성하는 일은?
답: 코딩
컴퓨터를 통해 서로 다른 언어를 번역하는 것은?

기계번역
자동통역
언어번역
사이버번역
답: 1번

22. 초기 신경망 연구와 관련된 주요 분야와 다소 거리가 있는 것은?

음성인식
동영상인식
숫자인식
문자인식
답: 2번

23. 본격적인 인공지능 시대가 오더라도 일자리가 비교적 줄어들지 않을 직업은?

택시기사
지게차 업무자
데이터 과학자
교통 감시원
답: 3번

24. 코딩의 목적과 거리가 먼 것은?

코딩을 통한 계산력 향상
인공지능 시대의 기초 요소
논리적 사고력 향상
창의적 아이디어 발상
답: 1번

주관식

초기 인공지능 연구 분야를 3가지 이상 쓰시오.
답: 자연어 처리, 문제 해결, 게임, 정리 증명, 음성인식
신경망 연구와 관련된 주요 인식 분야를 쓰시오.
답: 문자 인식, 음성 인식, 영상·패턴 인식
튜링의 업적을 쓰시오.
답: 튜링 머신 제안, 암호 해독 기여, 튜링 테스트 제안
튜링 테스트를 통과했다고 알려진 프로그램과 한계를 쓰시오.
답: 유진 구스트만, 실제 지능보다는 사람을 혼동시키는 대화전략에 의존한 한계가 있다.

4장

현재까지 인공지능에서 대부분의 연구 성과는 약한 인공지능 수준에 해당한다.
답: O
인공지능과 관련된 이론과 기술 수준은 현재 자아의식까지 가진 인공지능도 가능하다.
답: X, 현재 자아의식과 감정을 가진 인공지능은 구현되지 않았다.
강한 인공지능은 특정 분야 내에서 인간의 지능을 흉내 내는 지능적인 활동이다.
답: X, 특정 분야에 한정된 지능은 약한 인공지능이다.
약한 인공지능은 학습을 통해 지능적이며 자아의식과 감정도 가질 수 있다.
답: X, 약한 인공지능은 자아의식이나 감정을 가지지 않는다.
좁은 인공지능은 페이스북의 얼굴인식, 구글의 자율자동차, 애플의 시리 등에 응용된다.
답: O
2016년 이세돌 9단과 알파고와의 대국은 인공지능에 관한 관심을 급증시켰다.
답: O
알파고는 특정 영역에 국한된 약한 인공지능에 속한다.
답: O
현재 수준의 인공지능으로서는 몇 개의 그림을 보고 자연스러운 스토리텔링이 가능하다.
답: X, 그림 전체의 맥락을 이해해 자연스러운 이야기를 만드는 것은 아직 어렵다.
특이점 실현 가능성에 대한 비판에는 로봇이 인간을 흉내 내는 현상에 대한 회의적 의견이 있다.
답: O
슈퍼 인공지능도 인간과 같은 수준으로 창의성을 구현하기는 어렵지 않을 것이다.
답: X, 슈퍼 인공지능의 창의성 구현 가능성은 아직 불확실하다.
인공지능이 인간 능력을 뛰어넘어 새로운 문명을 만들어내는 미래의 시점은 무엇인가?
답: 특이점
컴퓨터 프로그램이 인간처럼 행동해도 인간처럼 이해한다고 볼 수 없다는 논증은 무엇인가?
답: 중국어 방 논증
미래학자들은 2045년경 인공지능의 급격한 발전으로 무엇이 일어날 것이라 예견하는가?
답: 지능 폭발
인공지능은 좁은 인공지능, ( ) 인공지능, 슈퍼 인공지능으로 나눌 수 있다.
답: 일반
인공지능 바둑 프로그램인 무엇이 일반 인공지능 기술로 발전하고 있는가?
답: 알파고
여러 장의 사진을 보고 하나의 줄거리로 이야기를 만드는 인공지능 분야는 무엇인가?
답: 스토리텔링
특이점 가설의 대표적인 예는 무엇의 폭발인가?
답: 지능
슈퍼 인공지능이 이루어지는 시기는 기술적 무엇과 관련이 깊은가?
답: 특이점
레이 커즈와일이 2005년에 출간한 책의 제목은 무엇인가?
답: 특이점이 온다
2017년 인공지능 윤리에 관한 원칙으로 발표된 것은 무엇인가?
답: 아실로마 인공지능 원칙

주관식

강한 인공지능의 특징을 3가지 정도 쓰시오.
답: 인간처럼 다양한 문제를 해결할 수 있는 일반 지능을 가지며, 스스로 사고·학습할 수 있고, 자아의식과 감정을 가질 수 있다고 여겨지는 인공지능이다.
아실로마 원칙의 주요 내용을 3가지 쓰시오.
답: 인공지능은 인류에게 유익해야 하며, 초지능은 인류 전체의 이익을 위해 개발되어야 하고, 인공지능 기반 무기 경쟁은 피해야 한다.
약한 인공지능의 특징을 쓰시오.
답: 특정 분야에서만 활용 가능하며, 인간의 지능을 흉내 내는 수준이고, 자아의식이나 감정은 없지만 특정 영역에서는 인간보다 뛰어난 성능을 보일 수 있다.

5장

2차 산업혁명이란 컴퓨터를 통한 생산과 유통 시스템의 자동화를 말한다.
답: X, 컴퓨터 기반 자동화는 3차 산업혁명에 해당한다.
4차 산업혁명이라는 용어는 2019년 세계경제포럼에서 처음 언급되었다.
답: X, 교재 기준으로 2016년 세계경제포럼에서 본격적으로 언급되었다.
4차 산업혁명의 핵심은 연결과 지능을 중심으로 한 초연결 사회이다.
답: O
4차 산업혁명 관련 산업에서 인공지능의 역할은 별로 중요하지 않다.
답: X, 인공지능은 4차 산업혁명의 핵심 기술이다.
지능형 로봇은 현재 기술로는 아직 교향악단을 지휘할 수 있는 수준이 아니다.
답: X, 지능형 로봇은 교향악단을 지휘한 사례가 있다.
국내에서 개발한 에트로는 문자를 인식해 책을 소리 내어 읽을 수 있다.
답: O
지능형 서비스 로봇은 현재로서는 식당에서 음식 주문과 서빙이 가능하지 않다.
답: X, 지능형 서비스 로봇은 음식 주문과 서빙 분야에도 활용되고 있다.
로봇 강국인 일본에서는 두 발로 걷는 휴머노이드형 로봇기술이 발달되어 있다.
답: O
자율자동차는 2025년 이전 상용화가 시작되고, 2035년에는 도로 주행 차량 4대 중 1대가 될 것이라는 예측이 많다.
답: O
구글은 자율자동차 주행 테스트를 하고 있으나, 우리나라에서는 거리 시험주행을 한 적이 없다.
답: X, 우리나라에서도 자율자동차 시험주행이 이루어졌다.
사람을 인식하고 문자도 읽으며 사람의 행동에 반응하는 로봇은 무엇인가?
답: 지능형 로봇
광신호로 작동하는 논리소자를 이용해 빛으로 연산하는 컴퓨터는 무엇인가?
답: 광컴퓨터
인공지능적인 능력을 갖춘 지능적인 로봇은 무엇인가?
답: 지능형 로봇
사물들을 인터넷으로 연결하여 정보를 상호 소통하는 기술 및 서비스는 무엇인가?
답: 사물인터넷
운전자와 관계없이 차량을 스스로 제어해 목적지까지 주행하는 것은 무엇인가?
답: 자율자동차
전파로 조종할 수 있는 무인 항공기는 무엇인가?
답: 드론
생물학적 시스템의 작용을 시뮬레이션해 생물체 기능을 규명하려는 분야는 무엇인가?
답: 바이오 컴퓨터
극미세 물질 탐구를 통해 새로운 물질을 제조할 수 있게 하는 기술은 무엇인가?
답: 나노 기술
다음 중 네 번의 산업혁명과 연결이 적절한 것은?

1차 산업혁명 - 전기
2차 산업혁명 - 기계적 혁명
3차 산업혁명 - 대량생산
4차 산업혁명 - 지능화
답: 4번

20. 다음 중 현재 자율자동차에 적용되는 시스템 기술로 보기 어려운 것은?

스스로 속도와 거리를 유지해준다.
목적지를 정해주지 않아도 스스로 알아서 달린다.
주차보조 시스템은 후진 일렬주차를 도와준다.
차선 이탈 상황을 감지하여 운전자에게 알려준다.
답: 2번

주관식

4차 산업혁명의 주요 영역들을 쓰시오.
답: 사물인터넷, 빅데이터, 인공지능, 자율자동차
각 산업혁명의 특징을 쓰시오.
답: 1차: 증기기관 기반 기계화, 2차: 전기에너지 기반 대량생산, 3차: 컴퓨터와 인터넷 기반 정보, 4차 : 인공지능과 사물인터넷
광컴퓨터의 장점을 설명하시오.
답: 처리 속도가 빠르고, 정보 집적도가 높다.

6장

신경망 연산에서는 행렬의 곱셈이 기본적으로 사용된다.
답: O
미분은 기하학적 관점에서 보면 주어진 곡선의 접선을 구하는 문제와 동치이다.
답: O
우리가 일상생활에서 사용하는 자연어는 프로그래밍 언어와 달리 미리 정해진 규칙에 따라 엄밀하게 사용된다.
답: X, 자연어는 프로그래밍 언어보다 모호하고 유연하게 사용된다.
Prolog는 논리에 기반을 둔 인공지능용 프로그래밍 언어로, 지식을 논리로 표현하고 규칙에 따라 추론한다.
답: O
미분의 체인 규칙은 3개까지의 변수에 대해서만 연쇄적으로 작용된다.
답: X, 체인 규칙은 3개 이상의 변수에도 적용될 수 있다.
경사하강법은 오차의 제곱이 가장 많이 증가하는 방향으로 변화한다.
답: X, 경사하강법은 오차가 가장 많이 감소하는 방향으로 이동한다.
델타 규칙과 경사하강법은 신경망의 학습 규칙을 이해하는 데 필요하다.
답: O
벡터나 행렬과 같은 수학적 바탕이 없어도 인공지능 연구는 가능하다.
답: X, 인공지능 연구에는 벡터·행렬 등 수학적 기초가 필요하다.
벡터의 내적은 성분끼리 곱한 결과의 합이므로 스칼라 값이다.
답: O
행렬은 신경망에서 입력과 연결강도 사이의 곱의 합을 구할 때 중요한 역할을 한다.
답: O
삼각함수에서는 일반적인 각도 표현 대신 π나 2π를 사용하는 무엇을 사용하는가?
답: 호도법
1960년대 개발된 인공지능 언어 중 기본 자료형이 리스트와 트리 형태인 언어는 무엇인가?
답: Lisp
구글이 딥러닝을 위해 개발한 텐서플로는 주로 어떤 언어로 구현·사용되는가?
답: Python
통계에서 표준편차의 제곱은 무엇인가?
답: 분산
각 점의 직선에서의 수직 거리의 제곱합이 가장 작아지도록 계수가 결정되는 직선은 무엇인가?
답: 회귀 직선
최근 신경망 라이브러리로 많이 활용되는 것은 무엇인가?
답: 텐서플로와 파이토치
다음 중 활성 함수로 비교적 많이 쓰이지 않는 함수는?

계단 함수
임계논리 함수
시그모이드 함수
코사인 함수
답: 4번

18. 다음 중 인공지능과 관련이 상대적으로 적은 프로그래밍 언어는?

Python
Ruby
Lisp
Prolog
답: 2번

19. 다음 중 인공지능 관련 언어 중 가장 오래전부터 사용되던 것은?

Python
텐서플로
파이토치
Lisp
답: 4번

20. 다음 중 Python의 주요 특징이라고 볼 수 없는 것은?

인터프리터 언어로서 실행 결과를 즉석에서 확인 가능
들여쓰기를 사용하여 블록을 구분하는 문법을 채용
프리웨어가 아니므로 프로그램을 구입해야 한다.
플랫폼 독립적이다.
답: 3번

주관식

회귀직선을 간단히 설명하고 회귀 분석과의 관계를 말하시오.
답: 회귀직선은 두 변수 x, y의 관계를 가장 잘 나타내는 직선 y=ax+b이며, 실제 데이터와 직선 사이 오차의 제곱합이 최소가 되도록 구한다. 회귀 분석은 이러한 회귀직선을 이용해 데이터의 관계를 분석하고 값을 예측하는 방법이다

7장

규칙기반 인공지능은 신경망과는 담당하는 역할이 다소 다르다.
답: O
규칙기반 인공지능에서는 논리를 바탕으로 규칙을 통해 추론한다.
답: O
논리의 중요한 목적에는 논리를 통한 입증이 옳은가를 포함하지 않는다.
답: X, 논리는 추론과 입증이 타당한지를 판단하는 데 목적이 있다.
논리는 일반적으로 명제 논리와 술어 논리로 구분된다.
답: O
논리에서 “3×2=5라면, 런던은 미국의 수도다.”는 F가 된다.
답: X, 조건 명제는 가정이 거짓이면 전체 명제가 참이 된다.
연역 추론은 하나 이상의 전제로부터 다른 결론을 도출해내는 추론 방식이다.
답: O
역방향 추론은 출발 상태로부터 목표 상태를 향해 나가는 기법이다.
답: X, 역방향 추론은 목표 상태에서 출발하여 조건을 거꾸로 추적하는 방법이다.
게임에서 나의 가능성은 최대로, 상대방의 가능성은 최소로 하는 전략 탐색을 쓴다.
답: O
세탁기나 전자레인지 등에서의 단계별 사용 설명서는 알고리즘에 속하지 않는다.
답: X, 단계별 절차를 명확히 제시한 것은 알고리즘에 해당한다.
규칙이란 통상 “if ○○○ then ×××” 형식으로 표현된다.
답: O
논리와 명제는 어떤 인공지능에 필수적인 이론적 기반을 제공하는가?
답: 규칙기반 인공지능
주어와 술어로 구분하여 참 또는 거짓에 관한 법칙을 다루는 논리는 무엇인가?
답: 술어 논리
명확하게 참이나 거짓을 구분할 수 있는 문장이나 수학적 식은 무엇인가?
답: 명제
추론은 크게 귀납 추론, ( ) 추론, 유비 추론으로 나눌 수 있다.
답: 연역
개별적 사실들의 분석으로부터 일반적인 결론을 끌어내는 추론 방법은 무엇인가?
답: 귀납 추론
목표를 찾기 위한 추론 방법에는 순방향 추론과 무엇이 있는가?
답: 역방향 추론
문제 해결을 위한 여러 단계를 체계적으로 명시한 것은 무엇인가?
답: 알고리즘
인간 전문가의 전문 지식을 이용하여 문제를 해결하는 컴퓨터 자문 시스템은 무엇인가?
답: 전문가 시스템
다음의 탐색 중 경험적 지식을 사용하는 탐색 방법은?

휴리스틱 탐색
깊이 우선 탐색
너비 우선 탐색
무정보 탐색
답: 1번

20. 다음 중 규칙을 이용한 인공지능 기법에 적절한 문제가 아닌 것은?

물통 문제
복잡한 곱셈 문제
문자 암호 풀이
8-puzzle 게임
답: 2번

주관식

연역 추론 중 삼단논법을 간단히 설명하시오.
답: 두 개의 전제로부터 하나의 결론을 이끌어내는 추론 방법이다. 예를 들어 “사람은 모두 죽는다, 소크라테스는 사람이다, 따라서 소크라테스는 죽는다”와 같은 방식이다.
휴리스틱을 간단히 설명하시오.
답: 엄밀한 분석보다 경험과 직관을 바탕으로 빠르게 문제를 해결하거나 판단하는 방법이다.

8장

머신러닝은 인간의 학습 능력과 같은 기능을 실현하려는 기법과 분야이다.
답: O
머신러닝은 컴퓨터 프로그램이 데이터로부터 학습하는 과정이라고 할 수 있다.
답: O
지도 학습을 통해서는 자동차 번호판의 인식률을 높일 수 없다.
답: X, 지도 학습은 레이블이 있는 데이터를 이용해 번호판 인식률을 높일 수 있다.
비지도 학습에서는 데이터 학습을 위해 레이블이나 태그 표식을 붙인다.
답: X, 비지도 학습은 레이블 없이 입력 데이터의 구조를 학습한다.
회귀 분석 기술은 학습 데이터를 사용하여 하나의 출력값을 예측한다.
답: O
분류는 일정한 기준에 따라 구분하는 것이고, 회귀는 오차 제곱의 합을 최소화하는 직선을 긋는 작업이다.
답: O
머신러닝의 학습 방법 중 강화 학습은 포함되지 않는다.
답: X, 머신러닝의 주요 학습 방법에는 강화 학습도 포함된다.
머신러닝은 헬스케어 분야에서도 중요한 역할을 담당한다.
답: O
의사결정 트리는 관측값과 목표값을 연결하는 예측 모델이다.
답: O
강화 학습은 보상이 주어지는 문제 해결에 효과적인 학습 방법이 아니다.
답: X, 강화 학습은 보상을 최대화하는 문제 해결에 효과적인 학습 방법이다.
입력과 이에 대응하는 미리 알려진 출력을 연관시키는 관계를 학습하는 방법은?
답: 지도 학습
출력 없이 주어진 입력만으로 스스로 모델을 구축하여 학습하는 방법은?
답: 비지도 학습
스타크래프트와 바둑 같은 게임에서 보상을 위해 주로 사용되는 학습은?
답: 강화 학습
주어진 데이터 중 유사한 특성을 가진 것끼리 묶어서 나누는 것은?
답: 분류
데이터를 경계선으로 구분할 때 가장 큰 폭을 가진 경계선을 찾는 알고리즘은?
답: SVM
서로 유사한 특성을 가진 여러 개의 그룹으로 묶는 기법은?
답: 클러스터링
주어진 입력에 대응하는 출력 정보 없이 학습하는 것은?
답: 비지도 학습
과거 데이터를 기반으로 미래를 예측하는 모델로 활용되는 정리는?
답: 베이즈 정리
다음 중 머신러닝과 별로 관계가 없는 것은?

프로그램을 명시적으로만 작성
전통적인 프로그래밍 개념과는 다름
인공지능에 속하는 부분집합
데이터로부터 학습하여 지식을 획득
답: 1번

20. 다음 중 지도 학습의 장점에 속하는 것은?

레이블이 있는 데이터를 사용해야 함
경험을 사용하여 성능 기준을 최적화
일반적으로 많은 시간이 걸림
제한된 유형의 문제를 해결
답: 2번

주관식

머신러닝의 주요 종류를 말하시오.
답: 지도 학습, 비지도 학습, 강화 학습
회귀의 개념을 설명하시오.
답: 회귀는 하나의 종속 변수와 하나 이상의 독립 변수 사이의 관계를 분석하여 연속적인 값을 예측하는 통계적 방법이다.
머신러닝에서 활용되는 비지도 학습 방법을 쓰시오.
답: K-means 클러스터링, 계층적 클러스터링, 가우스 혼합 모델(GMM), PCA(주성분 분석) 등이 있다.
강화 학습에 대해 간단히 설명하시오.
답: 에이전트가 환경에서 행동을 선택하고, 그 결과의 보상으로 최적의 행동 전략을 학습하는 방법이다.

9장

뉴런의 작용을 모델링한 신경망은 인공신경망으로도 불린다.
답: O
맥컬럭은 인간 두뇌를 수많은 뉴런들로 이루어진 잘 정의된 컴퓨터라고 여겼다.
답: O
신경망은 문자인식, 음성인식, 영상인식, 자연어 처리 등에 이용되고 있다.
답: O
XOR 함수는 선형 분리가 가능한 논리함수에 속한다.
답: X, XOR 함수는 하나의 직선으로 분리할 수 없는 비선형 문제이다.
신경망의 가장 간단한 노드는 여러 입력과 연결강도의 곱을 합한 뒤 활성 함수를 거쳐 출력을 낸다.
답: O
노드는 임계값이나 오프셋 θ, 비선형 함수의 형태에 따라 값이 정해진다.
답: O
단층 퍼셉트론의 한계가 노출되면서 2000년대 중반에 다층 퍼셉트론 모델이 제안되었다.
답: X, 다층 퍼셉트론은 2000년대 중반보다 이전에 제안되었다.
신경망은 병렬처리나 학습과 관련된 지능적 역할을 수행할 수 있다.
답: O
단층 퍼셉트론은 딥러닝의 심층신경망을 거쳐 다층 퍼셉트론으로 발전하였다.
답: X, 단층 퍼셉트론 이후 다층 퍼셉트론이 발전하고, 이후 심층신경망으로 확장되었다.
신경망은 계산 복잡성으로 인해 학습 시간이 오래 걸리는 문제점이 있다.
답: O
신경망은 인간 두뇌의 생물학적 무엇의 작용을 모방하여 고안되었는가?
답: 뉴런
신경망에서는 뉴런 사이의 무엇을 조정하여 학습하는가?
답: 연결강도
다층 퍼셉트론의 학습은 어떤 알고리즘에 의해 이루어지는가?
답: 역전파 알고리즘
다층 퍼셉트론은 입력층, ( ), 출력층의 순서로 연결되어 있다.
답: 은닉층
민스키와 페퍼트는 어떤 저서에서 단층 퍼셉트론의 문제점을 밝혔는가?
답: 퍼셉트론즈
마크 I 퍼셉트론은 무엇을 인식하는 성과를 보였는가?
답: 문자
출력과 목표 출력의 오차 제곱합을 최소화하도록 연결강도를 조정하는 규칙은?
답: 델타 규칙
다층 퍼셉트론에서는 매우 낮은 확률이지만 어떤 최소점 문제에 봉착할 수 있는가?
답: 지역 최소점
다음 중 신경망에서 많이 사용되는 비선형 함수가 아닌 것은?

계단 함수
시그모이드 함수
임계논리 함수
사인 함수
답: 4번

20. 다음 중 선형 분리가 불가능한 논리함수는?

AND 함수
XOR 함수
OR 함수
NOT 함수
답: 2번

주관식

신경망의 획기적인 3가지 모델과 해당 알고리즘을 쓰시오.
답: 퍼셉트론 - 퍼셉트론 학습 , 다층 퍼셉트론 - 역전파, 심층신경망(DNN) - 딥러닝 알고리즘
최초의 학습 규칙은 무엇이고 개발한 인물은 누구인가?
답: 헵의 학습 규칙이며, 도널드 헵이 개발하였다.
선형 분리 가능의 특징을 설명하시오.
답: 두 패턴 클래스가 하나의 직선 또는 초평면으로 구분될 수 있는 경우를 말한다. AND, OR 함수는 선형 분리가 가능하다.
신경망이 문자인식에 많이 쓰이는 이유와 단점을 서술하시오.
답: 신경망은 잡음, 왜곡, 크기 변화, 위치 변화 등에 비교적 잘 적응할 수 있어 문자인식에 적합하다. 단점은 많은 학습 데이터와 긴 훈련 시간이 필요하다는 점이다.
다층 퍼셉트론에서 역전파 알고리즘을 설명하시오.
답: 입력층에서 은닉층을 거쳐 출력층으로 계산한 뒤, 출력 오차를 반대 방향으로 전파하면서 연결강도를 조정하는 학습 알고리즘이다.

10장

딥러닝 기반의 심층신경망은 이미 존재하는 다층 신경망의 특수한 경우로 볼 수 있다.
답: O
딥러닝의 시초는 1980년 일본의 후쿠시마가 개발한 네오코그니트론이다.
답: O
딥러닝은 머신러닝이나 신경망보다 훨씬 큰 규모의 데이터를 학습할 수 없다.
답: X, 딥러닝은 대규모 데이터를 학습하는 데 강점이 있다.
힌턴은 새로운 딥러닝 기반 학습 알고리즘을 제안하여 과적합 문제 등을 해결하는 데 기여하였다.
답: O
RBM은 제한된 볼츠만 머신으로 지도 학습에만 활용된다.
답: X, RBM은 주로 비지도 학습이나 사전 학습에 활용된다.
심층 신뢰 신경망은 사전에 훈련된 RBM을 여러 층으로 쌓아 올린 구조이다.
답: O
컴퓨터 게임의 지능적 행동은 딥러닝 학습을 통해 다양하게 적용되고 있다.
답: O
인공지능 반도체 시장은 앞으로 다소 정체될 것으로 예측된다.
답: X, 인공지능 반도체 시장은 성장할 것으로 예측된다.
텐서플로는 누구나 무료로 다운받아 사용할 수 있는 소프트웨어가 아니다.
답: X, 텐서플로는 오픈소스 소프트웨어로 무료 사용이 가능하다.
텐서플로 자체는 C++로 구현되어 있으며 Python, Java 등의 언어를 지원한다.
답: O
2006년 힌턴 교수는 다층 신경망에 학습을 통한 전처리 과정을 추가한 어떤 학습 알고리즘 기법을 발표하였는가?
답: RBM
심층신경망은 여러 개의 무엇을 사용하는가?
답: 은닉층
딥러닝의 장점은 무엇과 분류가 자동적으로 이루어진다는 점인가?
답: 특징 추출
순차적 정보가 담긴 데이터에서 규칙적 패턴을 인식하는 신경망은?
답: 순환 신경망
다양한 차원의 배열로 나타나는 데이터는 무엇인가?
답: 텐서
개발자의 성지라고 불리며 오픈소스 소프트웨어의 중심지 역할을 하는 곳은?
답: 깃허브
딥러닝을 지원하는 구글이 만든 소프트웨어는 무엇인가?
답: 텐서플로
텐서플로의 대부분의 편리한 기능은 어떤 라이브러리로 구현되어 있는가?
답: Python 라이브러리
페이스북이 개발한 Python 기반의 오픈소스 머신러닝 라이브러리는 무엇인가?
답: 파이토치
다음 중 텐서플로가 자주 활용되지 않는 것은?

영상인식
음성인식
적분 계산
자연어 처리
답: 3번

주관식

딥러닝이 무엇인가와 응용 분야를 간단히 설명하시오.
답: 딥러닝은 심층신경망을 기반 머신러닝 분야. 음성인식, 영상인식, 자연어 처리, 게임, 자율주행 활용
설명가능 인공지능의 핵심을 간략히 설명하시오.
답: 설명가능 인공지능은 인공지능이 도출한 결과와 판단 과정을 사람이 이해할 수 있도록 설명하여 신뢰성을 높이는 방법
NPU가 무엇인지 간략하게 설명하시오.
답: NPU는 신경망 처리장치로, 딥러닝 연산을 빠르게 처리하기 위해 병렬 연산에 특화된 인공지능 반도체

11장

음성인식은 발성자의 성별이나 나이, 지속 시간 등에 따라 인식 결과가 다르다.
답: O
영상인식은 2차원이나 3차원의 영상 정보를 다루므로 인식 시간이 상당히 빠른 편이다.
답: X, 영상인식은 처리해야 할 데이터 양이 많아 시간이 오래 걸리는 편이다.
화자종속 음성인식 기술이 화자독립 음성인식 기술보다 훨씬 더 어렵다.
답: X, 화자독립 음성인식 기술이 더 어렵다.
음성합성 시스템은 주어진 문장을 음성으로 들을 수 있는 편리함을 제공할 수 있다.
답: O
대부분의 최신 스마트폰에는 음성인식을 통해 비서 역할을 하는 에이전트가 적용된다.
답: O
지문인식 기술은 보안이 필요한 장소의 신분 확인에 많이 사용된다.
답: O
문자인식은 영상인식의 영역에 속하지 않는다.
답: X, 문자인식은 영상인식 분야의 한 영역이다.
자연어에서 문법적 지식에 의미를 부여하는 것은 구문론적 이해이다.
답: X, 문맥과 의미를 이해하는 것은 의미론적 이해이다.
자연어 이해란 글을 이해하여 자연어 표현의 상황을 이해하는 수준을 말한다.
답: O
네이버의 번역 서비스인 파파고는 여러 언어의 번역 서비스를 제공하고 있다.
답: O
키보드 없이 음성을 인식하여 문서로 바꾸는 장치는 무엇인가?
답: 음성타자기
눈동자의 홍채 정보를 이용하여 사람을 인식하는 기술은 무엇인가?
답: 홍채 인식
문자 정보를 사람이 알아들을 수 있게 음성으로 만들어주는 기술은 무엇인가?
답: 음성 합성
음성인식 기술은 화자종속과 ( ) 음성인식으로 나눌 수 있다.
답: 화자독립
영상 파일을 신경망이나 딥러닝 기술로 분석하여 인식하는 기술은 무엇인가?
답: 영상 인식
주어진 영상을 보고 그 내용까지 이해하는 상당히 지능적인 단계는 무엇인가?
답: 영상 이해
인공지능 목소리는 무엇과 인공지능 기술의 결합으로 이루어질 수 있는가?
답: 음성 합성
컴퓨터를 통해 서로 다른 언어들을 번역하는 일을 무엇이라 하는가?
답: 기계 번역
다음의 인식 중 접촉식 인식 방법에 해당되는 것은?

홍채인식
지문인식
얼굴인식
자동차 번호판 인식
답: 2번

20. 다음 중 현재의 패턴인식 기술과 관계가 비교적 적은 것은?

문자인식
음성인식
감정인식
얼굴인식
답: 3번

주관식

음성인식을 위해 많이 쓰이는 방법을 말하시오.
답: 패턴 매칭, 은닉 마르코프 모델, 딥러닝 등이 사용된다.
자연어 처리에서 구문론과 의미론의 차이점을 설명하시오.
답: 구문론은 문장의 문법 구조와 단어 배열 규칙을 분석하는 것이고, 의미론은 문장이 가지는 의미를 해석하는 것이다.

12장

데이터 사이언스는 통계 방법만을 사용하여 대량의 데이터를 처리하는 전문 분야이다.
답: X, 데이터 사이언스는 통계뿐 아니라 머신러닝·알고리즘·데이터 처리 등을 포함한다.
데이터 사이언스는 데이터를 다루는 방법론, 프로세스, 알고리즘 등을 다룬다.
답: O
머신러닝을 전혀 이용하지 않고도 데이터 사이언스가 폭넓게 활용될 수 있다.
답: X, 머신러닝은 데이터 사이언스의 핵심 기술 중 하나이다.
SAS는 통계적 소프트웨어로 안정성과 신뢰성을 가지고 있다.
답: O
데이터 사이언스에서의 분석은 분류, 회귀, 클러스터링에 의한 경우가 많다.
답: O
빅데이터는 구매 패턴 분석과 앱의 경향 분석 등에 응용될 수 있다.
답: O
태풍이나 허리케인과 관련된 빅데이터를 활용하여 재해 예방에 활용하고 있다.
답: O
개인정보보호 문제는 빅데이터의 자료 수집 문제와 거의 관련이 없다.
답: X, 빅데이터 수집 과정에서는 개인정보보호 문제가 중요하게 다루어진다.
데이터 마이닝은 데이터로부터 정보를 추출하고 패턴을 발견하며 예측 모델을 개발하는 데 중심을 둔다.
답: O
우리나라에서는 아직 데이터 거래소가 별로 필요하지 않다.
답: X, 데이터 활용 증가로 데이터 거래소의 필요성이 커지고 있다.
데이터 사이언스나 빅데이터 관련 업무 전문가를 무엇이라 하는가?
답: 데이터 과학자
다양한 형태의 정형 또는 비정형 데이터를 많이 모아 놓은 것은 무엇인가?
답: 빅데이터
빅데이터의 3가지 특징(3V)은 크기, 다양성, 그리고 무엇인가?
답: 속도
대규모 데이터 집합에서 통계적 규칙이나 패턴을 찾아내는 과정은 무엇인가?
답: 데이터 마이닝
주어진 많은 데이터 중 비슷한 특성을 가진 것끼리 분리하는 것은 무엇인가?
답: 분류
데이터 집합을 유사도에 따라 여러 클러스터로 나누는 것은 무엇인가?
답: 클러스터링
탐색적 분석 결과를 보기 쉽고 이해하기 쉽게 표현하는 것은 무엇인가?
답: 시각화
오픈소스 통계 프로그래밍 언어로 데이터 분석과 시각화에 활용되는 것은 무엇인가?
답: R
데이터 사이언스에 필요한 지식과 기술 중 중요성이 상대적으로 적은 것은?

데이터 수집 기술
컴퓨터 하드웨어 지식
통계처리와 시각화 기술
머신러닝과 관련된 지식과 기술
답: 2번

20. 다음 중 데이터 사이언스의 도구와 가장 관계가 먼 것은?

Python
R
SAS
Ruby
답: 4번

주관식

데이터 사이언스는 어떤 분야들의 융합으로 이루어지는지 말하시오.
답: 통계학, 수학, 머신러닝, 빅데이터, 컴퓨터공학, 비즈니스
사용자가 빅데이터를 활용하는 단계를 쓰시오.
답: 요구사항 확인 → 데이터 수집 → 데이터 가공 → 데이터 분석 및 시각화 → 활용의 단계로 진행된다.

처음만나는 인공지능 연습문제 모음

김형준 — Wed, 6 May 2026 17:33:51 +0900

1장

인공지능은 인간의 지능 활동을 컴퓨터에 접목하는 기술이다.
답: O
인공지능의 역사는 그리 오래되지 않았으나, 약 150년 정도의 전통을 가지고 있다.
답: X, 인공지능 연구는 1950년대부터 시작되었다.
4차 산업혁명은 인공지능 기술과 관련이 깊다.
답: O
최근 인간 두뇌를 구현하기 위한 연구가 진전되어, 이미 감정이나 의식을 가진 인공지능이 개발되어 있다.
답: X, 인간과 같은 감정·의식을 가진 인공지능은 아직 개발되지 않았다.
좌뇌는 음악과 문학 등의 예술적 사고나 추상적인 사고를 담당한다.
답: X, 예술적·추상적 사고는 우뇌의 기능이다.
민스키는 비교적 초기 인공지능 연구자에 속하는 인물로서 인공지능 연구에 큰 공헌을 하였다.
답: O
인공지능 바둑 프로그램인 알파고는 인공지능 초창기인 1970년대에 개발되었다.
답: X, 알파고는 2010년대에 개발되었다.
인공지능이 만드는 문장에서 가장 핵심적인 사항은 구문도 맞고 의미가 통해야 한다.
답: O
인공지능 소프트웨어 기자인 기자 로봇은 현재 미국에서 주식 시황이나 스포츠 기사를 실제로 작성하며 활동하고 있다.
답: O
자율주행 자동차는 현재 상업용으로 활발하게 이용되고 있다.
답: X, 현재는 시범 운영 및 개발 단계이다.
고등학생 수준의 인공지능 글쓰기는 미국에서는 이미 가능하다.
답: X, 교재 기준으로는 미래에 가능할 것으로 전망하였다.
인공지능이 그린 미술 작품 중 실제 5억 원 정도에 거래된 작품도 있다.
답: O
그래픽카드의 핵심 칩으로 인공지능 프로그램에서 그래픽 정보를 빠르게 처리하는 것은?
답: GPU
인간 두뇌는 수많은 무엇으로 이루어져 있는가?
답: 뉴런(신경세포)
좌뇌는 규칙 기반 인공지능과 연관이 많고, 우뇌는 ( )에 적합한 신경망과 관련이 많다.
답: 학습
1997년 IBM이 개발한 체스 전용 컴퓨터는?
답: 딥 블루
인공지능 기술의 발달로 머지않아 상용화되면 운전사들의 일자리가 줄어들 수 있는 것은?
답: 자율주행 자동차
다음 중 인공지능 주제와 관련이 비교적 적은 것은?

인간의 지능을 모델링하는 기술
인간 두뇌에 도전하는 기술
지능적인 원리를 컴퓨터에 적용하는 기술
현재 대부분의 문제 해결이 가능한 기술
답: 4번

19. 다음의 컴퓨터 장치 중 인간 두뇌와 관련이 가장 적은 기능은?

연산 기능
출력 기능
제어 기능
기억 기능
답: 2번

20. 인공지능이 도전하여 아직은 가능성이 별로 크지 않은 분야는?

시
소설
창의적 작품
미술
답: 2번

주관식

인공지능이란 무엇인지 설명하시오.
답: 인간의 학습, 추론, 판단, 인식 등의 지능 활동을 컴퓨터로 구현하는 기술이다.
인공지능이 인간을 완전히 따라오기 어려운 능력은 무엇인가?
답: 감정, 의식, 창의성, 윤리적 판단 등
1956년에 인공지능 연구가 시작된 계기는 무엇인가?
답: 다트머스 대학 하계 워크숍
인공지능에서 사용되는 하드웨어와 소프트웨어의 예를 쓰시오.
답: 하드웨어: GPU, TPU, 클라우드 서버 / 소프트웨어: TensorFlow, Pytorch, Spark
인공지능에서 학습이 필요한 이유는 무엇인가?
답: 데이터를 기반으로 상황을 인식하고 판단 능력을 향상시키기 위해서이다.
인간 두뇌 영역에 도전하는 인공지능 분야를 5가지 이상 쓰시오.
답: 작곡, 번역, 그림 제작, 시 소설 창작, 음성인식, 기사 작성

2장

코타나는 마이크로소프트의 인공지능 도우미이다.
답: O
인공지능 관련 특허에서 한국 기업은 아직 세계 10위권에도 들지 못하고 있다.
답: X, 한국은 세계 상위권 수준이다.
인공지능 기술의 핵심인 신경망과 딥러닝 알고리즘은 소프트웨어에 속하지 않는다.
답: X, 신경망과 딥러닝은 소프트웨어 기술이다.
중국이나 일본 등에서는 국가 차원에서 인공지능 교육을 강화하고 있다.
답: O
얼굴인식을 바탕으로 중국의 대형마트 등에서는 얼굴인식 결제를 사용하고 있다.
답: O
인공지능은 로봇공학과 결합하여 인간과 교감하는 휴머노이드 개발이 진행 중이다.
답: O
인공지능 컴퓨터인 왓슨은 암 발견과 치료를 수행하는 시스템으로 발전하고 있다.
답: O
가사도우미 로봇인 소피아는 60여 개 감정을 표현하며 사람과 대화할 수 있다.
답: O
인공지능은 인문학과 법학과는 관계가 없다.
답: X, 인공지능은 인문학·법학 등과 융합되고 있다.
미국에서는 인공지능 변호사가 법조인의 업무를 보조하는 역할은 합법적이다.
답: O
기술의 원천인 프로그램의 소스 코드를 누구에게나 무료로 제공하는 것은?
답: 오픈 소스
삼성전자의 인공지능 도우미는?
답: 빅스비
구글은 코타나라는 인공지능 소프트웨어를 개방하였다.
답: X, 코타나는 마이크로소프트의 인공지능 도우미이다.
인공지능 스피커의 ( ) 기능을 통해 집안 기기를 목소리로 제어할 수 있다.
답: 음성인식
‘칵테일 바텐더 로봇’과 ‘바리스타 봇’은 인공지능 ( ) 로봇에 속한다.
답: 서비스
다음 중 인공지능 활용과 비교적 관련이 적은 것은?

인물 검색
법률 자문
간호 업무
주식 분석
답: 1번

17. 다음 중 우리나라가 인공지능 강국이 되는 방법과 관련이 적은 것은?

인공지능 제품의 상용화
인공지능 연구와 개발
인공지능 용어 검색
인공지능 교육 강화
답: 3번

18. 추천 시스템의 대상이 아닌 것은?

자주 검색한 상품
알렉사
감상한 유튜브 동영상
검색한 도서
답: 2번

주관식

인공지능 시장의 주요 응용 분야를 3가지 이상 쓰시오.
답: 광고 추천, 음성인식, 번역, 얼굴인식, 자율주행 등
스마트 디스플레이의 예를 3가지 쓰시오.
답: 구글 네스트 허브, skt의 누구 네모, kt의 기가지니
우리나라가 인공지능 강국이 되기 위해 필요한 노력은 무엇인가?
답: 연구개발 투자, 인재 양성, 인공지능 교육 강화
주요 인공지능 도우미를 쓰시오.
답: 시리, 코타나, 빅스비, 알렉사, 구글 어시스턴트
인공지능 활용 분야를 5가지 이상 쓰시오.
답: 의료, 법률, 농업, 로봇공학, 비즈니스, 교육 등
인공지능 시대의 새로운 직업을 쓰시오.
답: 데이터 사이언티스트, 데이터 엔지니어, 인공지능 개발자 등

3장

연결주의 인공지능 계열에 속하는 것은 규칙 기반 인공지능이다.
답: X, 연결주의는 신경망 기반 인공지능이다.
최초의 체스 프로그램은 인공지능이라는 단어가 나오기 전에 만들어졌다.
답: O
마이신은 혈액 감염을 진단하고 처방하기 위해 만들어진 의학 전문가 시스템이다.
답: O
데이터를 전문적으로 다루고 분석하는 데이터 과학자의 수요는 점차 감소하고 있다.
답: X, 데이터 과학자의 수요는 증가하고 있다.
인류 최초의 전자식 컴퓨터인 에니악은 1946년에 발표되었다.
답: O
왓슨은 질문을 이해할 수 있으나 음성으로 답변할 수는 없다.
답: O
인공지능은 크게 규칙 기반 인공지능과 신경망 기반 인공지능으로 나누어진다.
답: O
규칙 기반 인공지능의 장점은 학습을 잘할 수 있다는 점이다.
답: X, 규칙 기반 인공지능은 규칙 추론에 강점이 있다.
신경망은 주로 패턴 인식에 활용되며 학습 시간이 오래 걸린다.
답: O
인공지능 슈퍼컴퓨터인 딥 블루가 바둑 세계 챔피언에 등극하였다.
답: X, 딥 블루는 체스 전용 시스템이다.
문제 해결 방법 중 하나는 블록 다이어그램을 그려 단계별로 분석하는 것이다.
답: O
엄청난 양의 데이터를 수집하여 머신러닝과 통계 기법으로 분석하는 기술은?
답: 빅데이터
반복적인 작업들을 자동화시켜 사용자를 돕는 컴퓨터 프로그램은?
답: 지능형 에이전트
인간 전문가를 대신할 수 있는 인공지능 시스템은?
답: 전문가 시스템
수많은 프로기사의 기보를 분석하고 딥러닝을 활용한 바둑 인공지능은?
답: 알파고
말하는 사람과 관계없이 누구에게나 작동하는 음성인식은?
답: 화자독립 음성인식
컴퓨터에서 수행하는 절차를 프로그램으로 작성하는 일은?
답: 코딩
컴퓨터를 통해 서로 다른 언어를 번역하는 것은?

기계번역
자동통역
언어번역
사이버번역
답: 1번

19. 초기 신경망 연구와 관련된 주요 분야와 다소 거리가 있는 것은?

음성인식
동영상인식
숫자인식
문자인식
답: 2번

20. 본격적인 인공지능 시대가 오더라도 일자리가 비교적 줄어들지 않을 직업은?

택시기사
지게차 업무자
데이터 과학자
교통 감시원
답: 3번

21. 코딩의 목적과 거리가 먼 것은?

코딩을 통한 계산력 향상
인공지능 시대의 기초 요소
논리적 사고력 향상
창의적 아이디어 발상
답: 1번

주관식

초기 인공지능 연구 분야를 3가지 이상 쓰시오.
답: 자연어 처리, 문제 해결, 게임, 정리 증명, 음성인식 등
신경망 연구와 관련된 주요 인식 분야를 쓰시오.
답: 문자 인식, 음성 인식, 영상·패턴 인식
튜링의 업적을 쓰시오.
답: 튜링 머신 제안, 암호 해독 기여, 튜링 테스트 제안
대표적인 인공지능 시스템 5가지를 쓰시오.
답: 퍼셉트론, 마이신, 딥 블루, 왓슨, 알파고, 엘리자
튜링 테스트를 통과했다고 알려진 프로그램과 한계를 쓰시오.
답: 유진 구스트만, 실제 지능보다는 사람을 혼동시키는 대화전략에 의존한 한계가 있다.
소프트웨어와 다른 산업의 융합 사례를 쓰시오.
답: 바이오인포매틱스, 자율주행 자동차, 구조설계 소프트웨어, 컴퓨터 악보, 가상현실 영화 등

4장

현재까지 인공지능에서 대부분의 연구 성과는 약한 인공지능 수준에 해당한다.
답: O
인공지능과 관련된 이론과 기술 수준은 현재 자아의식까지 가진 인공지능도 가능하다.
답: X, 현재 자아의식과 감정을 가진 인공지능은 구현되지 않았다.
강한 인공지능은 특정 분야 내에서 인간의 지능을 흉내 내는 지능적인 활동이다.
답: X, 특정 분야에 한정된 지능은 약한 인공지능이다.
약한 인공지능은 학습을 통해 지능적이며 자아의식과 감정도 가질 수 있다.
답: X, 약한 인공지능은 자아의식이나 감정을 가지지 않는다.
좁은 인공지능은 페이스북의 얼굴인식, 구글의 자율자동차, 애플의 시리 등에 응용된다.
답: O
2016년 이세돌 9단과 알파고와의 대국은 인공지능에 관한 관심을 급증시켰다.
답: O
알파고는 특정 영역에 국한된 약한 인공지능에 속한다.
답: O
현재 수준의 인공지능으로서는 몇 개의 그림을 보고 자연스러운 스토리텔링이 가능하다.
답: X, 그림 전체의 맥락을 이해해 자연스러운 이야기를 만드는 것은 아직 어렵다.
특이점 실현 가능성에 대한 비판에는 로봇이 인간을 흉내 내는 현상에 대한 회의적 의견이 있다.
답: O
슈퍼 인공지능도 인간과 같은 수준으로 창의성을 구현하기는 어렵지 않을 것이다.
답: X, 슈퍼 인공지능의 창의성 구현 가능성은 아직 불확실하다.
인공지능이 인간 능력을 뛰어넘어 새로운 문명을 만들어내는 미래의 시점은 무엇인가?
답: 특이점
미래학자들은 2045년경 인공지능의 급격한 발전으로 무엇이 일어날 것이라 예견하는가?
답: 지능 폭발
인공지능은 좁은 인공지능, ( ) 인공지능, 슈퍼 인공지능으로 나눌 수 있다.
답: 일반
인공지능 바둑 프로그램인 무엇이 일반 인공지능 기술로 발전하고 있는가?
답: 알파고
특이점 가설의 대표적인 예는 무엇의 폭발인가?
답: 지능
레이 커즈와일이 2005년에 출간한 책의 제목은 무엇인가?
답: 특이점이 온다

주관식

강한 인공지능의 특징을 3가지 정도 쓰시오.
답: 인간처럼 다양한 문제를 해결할 수 있는 일반 지능을 가지며, 스스로 사고·학습할 수 있고, 자아의식과 감정을 가질 수 있다고 여겨지는 인공지능이다.
슈퍼 인공지능이 현재로서는 SF 영화 속에서만 존재하는 이유는 무엇인가?
답: 인간의 지능과 창의성을 훨씬 능가하는 수준의 인공지능을 구현할 기술이 아직 부족하기 때문이다.
4개 장면 스토리텔링이 인공지능에게 어려운 이유는 무엇인가?
답: 각 그림의 상황을 인식하는 것뿐 아니라 전체 맥락을 이해하고 자연스러운 줄거리로 연결해야 하기 때문이다.
많은 과학자와 명사들이 아실로마 원칙에 서명한 이유는 무엇인가?
답: 인공지능 연구가 인류에게 유익하고 안전하며 윤리적으로 이루어져야 하기 때문이다.
아실로마 원칙의 주요 내용을 3가지 쓰시오.
답: 인공지능은 인류에게 유익해야 하며, 초지능은 인류 전체의 이익을 위해 개발되어야 하고, 인공지능 기반 무기 경쟁은 피해야 한다.
약한 인공지능의 특징을 쓰시오.
답: 특정 분야에서만 활용 가능하며, 인간의 지능을 흉내 내는 수준이고, 자아의식이나 감정은 없지만 특정 영역에서는 인간보다 뛰어난 성능을 보일 수 있다.

5장

2차 산업혁명이란 컴퓨터를 통한 생산과 유통 시스템의 자동화를 말한다.
답: X, 컴퓨터 기반 자동화는 3차 산업혁명에 해당한다.
4차 산업혁명이라는 용어는 2019년 세계경제포럼에서 처음 언급되었다.
답: X, 교재 기준으로 2016년 세계경제포럼에서 본격적으로 언급되었다.
4차 산업혁명의 핵심은 연결과 지능을 중심으로 한 초연결 사회이다.
답: O
4차 산업혁명 관련 산업에서 인공지능의 역할은 별로 중요하지 않다.
답: X, 인공지능은 4차 산업혁명의 핵심 기술이다.
지능형 로봇은 현재 기술로는 아직 교향악단을 지휘할 수 있는 수준이 아니다.
답: X, 지능형 로봇은 교향악단을 지휘한 사례가 있다.
국내에서 개발한 에트로는 문자를 인식해 책을 소리 내어 읽을 수 있다.
답: O
지능형 서비스 로봇은 현재로서는 식당에서 음식 주문과 서빙이 가능하지 않다.
답: X, 지능형 서비스 로봇은 음식 주문과 서빙 분야에도 활용되고 있다.
로봇 강국인 일본에서는 두 발로 걷는 휴머노이드형 로봇기술이 발달되어 있다.
답: O
자율자동차는 2025년 이전 상용화가 시작되고, 2035년에는 도로 주행 차량 4대 중 1대가 될 것이라는 예측이 많다.
답: O
구글은 자율자동차 주행 테스트를 하고 있으나, 우리나라에서는 거리 시험주행을 한 적이 없다.
답: X, 우리나라에서도 자율자동차 시험주행이 이루어졌다.
사람을 인식하고 문자도 읽으며 사람의 행동에 반응하는 로봇은 무엇인가?
답: 지능형 로봇
인공지능적인 능력을 갖춘 지능적인 로봇은 무엇인가?
답: 지능형 로봇
사물들을 인터넷으로 연결하여 정보를 상호 소통하는 기술 및 서비스는 무엇인가?
답: 사물인터넷
운전자와 관계없이 차량을 스스로 제어해 목적지까지 주행하는 것은 무엇인가?
답: 자율자동차
전파로 조종할 수 있는 무인 항공기는 무엇인가?
답: 드론
극미세 물질 탐구를 통해 새로운 물질을 제조할 수 있게 하는 기술은 무엇인가?
답: 나노 기술

17. 다음 중 현재 자율자동차에 적용되는 시스템 기술로 보기 어려운 것은?

스스로 속도와 거리를 유지해준다.
목적지를 정해주지 않아도 스스로 알아서 달린다.
주차보조 시스템은 후진 일렬주차를 도와준다.
차선 이탈 상황을 감지하여 운전자에게 알려준다.
답: 2번

주관식

4차 산업혁명의 주요 영역들을 쓰시오.
답: 사물인터넷, 빅데이터, 인공지능, 자율자동차, 드론, 로봇공학, 3D 프린터, 생명공학, 나노기술 등
각 산업혁명의 특징을 쓰시오.
답: 1차 산업혁명은 증기기관 기반의 기계화 혁명, 2차 산업혁명은 전기 에너지 기반의 대량생산 혁명, 3차 산업혁명은 컴퓨터와 인터넷 기반의 정보화 혁명, 4차 산업혁명은 인공지능과 사물인터넷 기반의 초연결·초지능 혁명이다.
광컴퓨터의 장점을 설명하시오.
답: 처리 속도가 빠르고, 정보 집적도가 높으며, 영상 정보 처리가 쉽고, 2차원 또는 3차원 병렬 처리가 용이하다.
우리나라에서 드론 택배가 어려운 이유를 설명하시오.
답: 고층 아파트가 많아 착륙 지점 확보가 어렵고, 소음·안전·사생활 침해 문제가 발생할 수 있기 때문이다.
4차 산업혁명을 통해 인간 생활이 편리해지는 예를 3가지 쓰시오.
답: 사물인터넷을 통한 가전 제어, 자율자동차를 통한 이동 편의, 빅데이터와 인공지능을 활용한 맞춤형 서비스 등이 있다.

6장

신경망 연산에서는 행렬의 곱셈이 기본적으로 사용된다.
답: O
미분은 기하학적 관점에서 보면 주어진 곡선의 접선을 구하는 문제와 동치이다.
답: O
우리가 일상생활에서 사용하는 자연어는 프로그래밍 언어와 달리 미리 정해진 규칙에 따라 엄밀하게 사용된다.
답: X, 자연어는 프로그래밍 언어보다 모호하고 유연하게 사용된다.
Prolog는 논리에 기반을 둔 인공지능용 프로그래밍 언어로, 지식을 논리로 표현하고 규칙에 따라 추론한다.
답: O
미분의 체인 규칙은 3개까지의 변수에 대해서만 연쇄적으로 작용된다.
답: X, 체인 규칙은 3개 이상의 변수에도 적용될 수 있다.
경사하강법은 오차의 제곱이 가장 많이 증가하는 방향으로 변화한다.
답: X, 경사하강법은 오차가 가장 많이 감소하는 방향으로 이동한다.
델타 규칙과 경사하강법은 신경망의 학습 규칙을 이해하는 데 필요하다.
답: O
벡터나 행렬과 같은 수학적 바탕이 없어도 인공지능 연구는 가능하다.
답: X, 인공지능 연구에는 벡터·행렬 등 수학적 기초가 필요하다.
벡터의 내적은 성분끼리 곱한 결과의 합이므로 스칼라 값이다.
답: O
행렬은 신경망에서 입력과 연결강도 사이의 곱의 합을 구할 때 중요한 역할을 한다.
답: O
삼각함수에서는 일반적인 각도 표현 대신 π나 2π를 사용하는 무엇을 사용하는가?
답: 호도법
1960년대 개발된 인공지능 언어 중 기본 자료형이 리스트와 트리 형태인 언어는 무엇인가?
답: Lisp
구글이 딥러닝을 위해 개발한 텐서플로는 주로 어떤 언어로 구현·사용되는가?
답: Python
통계에서 표준편차의 제곱은 무엇인가?
답: 분산

15. 다음 중 인공지능과 관련이 상대적으로 적은 프로그래밍 언어는?

Python
Ruby
Lisp
Prolog
답: 2번

16. 다음 중 인공지능 관련 언어 중 가장 오래전부터 사용되던 것은?

Python
텐서플로
파이토치
Lisp
답: 4번

17. 다음 중 Python의 주요 특징이라고 볼 수 없는 것은?

인터프리터 언어로서 실행 결과를 즉석에서 확인 가능
들여쓰기를 사용하여 블록을 구분하는 문법을 채용
프리웨어가 아니므로 프로그램을 구입해야 한다.
플랫폼 독립적이다.
답: 3번

주관식

인공지능 연구에 필요한 수학적 지식을 4가지 이상 쓰시오.
답: 미분, 벡터, 행렬, 확률, 통계, 평균, 분산, 표준편차, 회귀분석 등이 있다.
회귀직선을 간단히 설명하고 회귀 분석과의 관계를 말하시오.
답: 회귀직선은 두 변수 x, y의 관계를 가장 잘 나타내는 직선 y=ax+b이며, 실제 데이터와 직선 사이 오차의 제곱합이 최소가 되도록 구한다. 회귀 분석은 이러한 회귀직선을 이용해 데이터의 관계를 분석하고 값을 예측하는 방법이다.
신경망 학습에서 행렬과 벡터 지식이 필요한 이유를 쓰시오.
답: 신경망에서는 입력값과 연결강도의 곱과 합을 계산해야 하며, 이 과정이 벡터와 행렬 연산으로 표현되기 때문에 필요하다.
인공지능 언어로 많이 쓰이는 Python의 주요 특징을 쓰시오.
답: 문법이 간단하고, 인터프리터 언어이며, 플랫폼 독립적이고, 동적 타이핑을 지원하며, 들여쓰기로 코드 블록을 구분한다.

7장

규칙기반 인공지능은 신경망과는 담당하는 역할이 다소 다르다.
답: O
규칙기반 인공지능에서는 논리를 바탕으로 규칙을 통해 추론한다.
답: O
논리의 중요한 목적에는 논리를 통한 입증이 옳은가를 포함하지 않는다.
답: X, 논리는 추론과 입증이 타당한지를 판단하는 데 목적이 있다.
논리는 일반적으로 명제 논리와 술어 논리로 구분된다.
답: O
논리에서 “3×2=5라면, 런던은 미국의 수도다.”는 F가 된다.
답: X, 조건 명제는 가정이 거짓이면 전체 명제가 참이 된다.
연역 추론은 하나 이상의 전제로부터 다른 결론을 도출해내는 추론 방식이다.
답: O
역방향 추론은 출발 상태로부터 목표 상태를 향해 나가는 기법이다.
답: X, 역방향 추론은 목표 상태에서 출발하여 조건을 거꾸로 추적하는 방법이다.
게임에서 나의 가능성은 최대로, 상대방의 가능성은 최소로 하는 전략 탐색을 쓴다.
답: O
세탁기나 전자레인지 등에서의 단계별 사용 설명서는 알고리즘에 속하지 않는다.
답: X, 단계별 절차를 명확히 제시한 것은 알고리즘에 해당한다.
규칙이란 통상 “if ○○○ then ×××” 형식으로 표현된다.
답: O
명확하게 참이나 거짓을 구분할 수 있는 문장이나 수학적 식은 무엇인가?
답: 명제
개별적 사실들의 분석으로부터 일반적인 결론을 끌어내는 추론 방법은 무엇인가?
답: 귀납 추론
목표를 찾기 위한 추론 방법에는 순방향 추론과 무엇이 있는가?
답: 역방향 추론
문제 해결을 위한 여러 단계를 체계적으로 명시한 것은 무엇인가?
답: 알고리즘
인간 전문가의 전문 지식을 이용하여 문제를 해결하는 컴퓨터 자문 시스템은 무엇인가?
답: 전문가 시스템
다음의 탐색 중 경험적 지식을 사용하는 탐색 방법은?

휴리스틱 탐색
깊이 우선 탐색
너비 우선 탐색
무정보 탐색
답: 1번

17. 다음 중 규칙을 이용한 인공지능 기법에 적절한 문제가 아닌 것은?

물통 문제
복잡한 곱셈 문제
문자 암호 풀이
8-puzzle 게임
답: 2번

주관식

생활 속 알고리즘의 예를 쓰시오.
답: 라면 조리법, 가전제품 사용 설명서, 지하철 환승 방법, 하루 일정 계획, 수학 연산 절차 등이 있다.
연역 추론 중 삼단논법을 간단히 설명하시오.
답: 두 개의 전제로부터 하나의 결론을 이끌어내는 추론 방법이다. 예를 들어 “사람은 모두 죽는다, 소크라테스는 사람이다, 따라서 소크라테스는 죽는다”와 같은 방식이다.
휴리스틱을 간단히 설명하시오.
답: 엄밀한 분석보다 경험과 직관을 바탕으로 빠르게 문제를 해결하거나 판단하는 방법이다.
인공지능에서 문제 해결을 위한 주요 단계를 쓰시오.
답: 문제를 명확히 정의하고, 문제를 분석하며, 제약 조건과 규칙을 검토하고, 적절한 해결 기법을 선택한 뒤 결과를 검토한다.
자동차 전문가 시스템이 할 수 있는 역할을 말하시오.
답: 자동차 고장 원인 진단, 수리 방법 제안, 전문가 지식 제공 등의 역할을 할 수 있다.

8장

머신러닝은 인간의 학습 능력과 같은 기능을 실현하려는 기법과 분야이다.
답: O
머신러닝은 컴퓨터 프로그램이 데이터로부터 학습하는 과정이라고 할 수 있다.
답: O
지도 학습을 통해서는 자동차 번호판의 인식률을 높일 수 없다.
답: X, 지도 학습은 레이블이 있는 데이터를 이용해 번호판 인식률을 높일 수 있다.
비지도 학습에서는 데이터 학습을 위해 레이블이나 태그 표식을 붙인다.
답: X, 비지도 학습은 레이블 없이 입력 데이터의 구조를 학습한다.
회귀 분석 기술은 학습 데이터를 사용하여 하나의 출력값을 예측한다.
답: O
분류는 일정한 기준에 따라 구분하는 것이고, 회귀는 오차 제곱의 합을 최소화하는 직선을 긋는 작업이다.
답: O
머신러닝의 학습 방법 중 강화 학습은 포함되지 않는다.
답: X, 머신러닝의 주요 학습 방법에는 강화 학습도 포함된다.
머신러닝은 헬스케어 분야에서도 중요한 역할을 담당한다.
답: O
의사결정 트리는 관측값과 목표값을 연결하는 예측 모델이다.
답: O
강화 학습은 보상이 주어지는 문제 해결에 효과적인 학습 방법이 아니다.
답: X, 강화 학습은 보상을 최대화하는 문제 해결에 효과적인 학습 방법이다.
입력과 이에 대응하는 미리 알려진 출력을 연관시키는 관계를 학습하는 방법은?
답: 지도 학습
출력 없이 주어진 입력만으로 스스로 모델을 구축하여 학습하는 방법은?
답: 비지도 학습
스타크래프트와 바둑 같은 게임에서 보상을 위해 주로 사용되는 학습은?
답: 강화 학습
주어진 데이터 중 유사한 특성을 가진 것끼리 묶어서 나누는 것은?
답: 분류
주어진 입력에 대응하는 출력 정보 없이 학습하는 것은?
답: 비지도 학습
다음 중 머신러닝과 별로 관계가 없는 것은?

프로그램을 명시적으로만 작성
전통적인 프로그래밍 개념과는 다름
인공지능에 속하는 부분집합
데이터로부터 학습하여 지식을 획득
답: 1번

17. 다음 중 지도 학습의 장점에 속하는 것은?

레이블이 있는 데이터를 사용해야 함
경험을 사용하여 성능 기준을 최적화
일반적으로 많은 시간이 걸림
제한된 유형의 문제를 해결
답: 2번

주관식

머신러닝의 주요 종류를 말하시오.
답: 지도 학습, 비지도 학습, 강화 학습
분류의 응용 예를 쓰시오.
답: 스팸 메일 분류, 개와 고양이 구분, 남녀 구분, 숫자 인식, 문자 인식, 카드 부정 사용 감지, 의료 영상의 종양 판별 등이 있다.
회귀의 개념을 설명하시오.
답: 회귀는 하나의 종속 변수와 하나 이상의 독립 변수 사이의 관계를 분석하여 연속적인 값을 예측하는 통계적 방법이다.
머신러닝에서 활용되는 비지도 학습 방법을 쓰시오.
답: K-means 클러스터링, 계층적 클러스터링, 가우스 혼합 모델(GMM), PCA(주성분 분석) 등이 있다.
강화 학습에 대해 간단히 설명하시오.
답: 에이전트가 환경에서 행동을 선택하고, 그 결과로 얻는 보상을 통해 시행착오적으로 최적의 행동 전략을 학습하는 방법이다.

9장

뉴런의 작용을 모델링한 신경망은 인공신경망으로도 불린다.
답: O
맥컬럭은 인간 두뇌를 수많은 뉴런들로 이루어진 잘 정의된 컴퓨터라고 여겼다.
답: O
신경망은 문자인식, 음성인식, 영상인식, 자연어 처리 등에 이용되고 있다.
답: O
XOR 함수는 선형 분리가 가능한 논리함수에 속한다.
답: X, XOR 함수는 하나의 직선으로 분리할 수 없는 비선형 문제이다.
신경망의 가장 간단한 노드는 여러 입력과 연결강도의 곱을 합한 뒤 활성 함수를 거쳐 출력을 낸다.
답: O
노드는 임계값이나 오프셋 θ, 비선형 함수의 형태에 따라 값이 정해진다.
답: O
단층 퍼셉트론의 한계가 노출되면서 2000년대 중반에 다층 퍼셉트론 모델이 제안되었다.
답: X, 다층 퍼셉트론은 2000년대 중반보다 이전에 제안되었다.
신경망은 병렬처리나 학습과 관련된 지능적 역할을 수행할 수 있다.
답: O
단층 퍼셉트론은 딥러닝의 심층신경망을 거쳐 다층 퍼셉트론으로 발전하였다.
답: X, 단층 퍼셉트론 이후 다층 퍼셉트론이 발전하고, 이후 심층신경망으로 확장되었다.
신경망은 계산 복잡성으로 인해 학습 시간이 오래 걸리는 문제점이 있다.
답: O
신경망은 인간 두뇌의 생물학적 무엇의 작용을 모방하여 고안되었는가?
답: 뉴런
신경망에서는 뉴런 사이의 무엇을 조정하여 학습하는가?
답: 연결강도
다층 퍼셉트론은 입력층, ( ), 출력층의 순서로 연결되어 있다.
답: 은닉층
마크 I 퍼셉트론은 무엇을 인식하는 성과를 보였는가?
답: 문자
출력과 목표 출력의 오차 제곱합을 최소화하도록 연결강도를 조정하는 규칙은?
답: 델타 규칙
다음 중 신경망에서 많이 사용되는 비선형 함수가 아닌 것은?

계단 함수
시그모이드 함수
임계논리 함수
사인 함수
답: 4번

17. 다음 중 선형 분리가 불가능한 논리함수는?

AND 함수
XOR 함수
OR 함수
NOT 함수
답: 2번

주관식

신경망의 획기적인 3가지 모델과 해당 알고리즘을 쓰시오.
답: 퍼셉트론 모델과 퍼셉트론 학습 알고리즘, 다층 퍼셉트론과 역전파 알고리즘, 심층신경망(DNN)과 딥러닝 알고리즘
최초의 학습 규칙은 무엇이고 개발한 인물은 누구인가?
답: 헵의 학습 규칙이며, 도널드 헵이 개발하였다.
선형 분리 가능의 특징을 설명하시오.
답: 두 패턴 클래스가 하나의 직선 또는 초평면으로 구분될 수 있는 경우를 말한다. AND, OR 함수는 선형 분리가 가능하다.
신경망이 문자인식에 많이 쓰이는 이유와 단점을 서술하시오.
답: 신경망은 잡음, 왜곡, 크기 변화, 위치 변화 등에 비교적 잘 적응할 수 있어 문자인식에 적합하다. 단점은 많은 학습 데이터와 긴 훈련 시간이 필요하다는 점이다.
다층 퍼셉트론에서 역전파 알고리즘을 설명하시오.
답: 입력층에서 은닉층을 거쳐 출력층으로 계산한 뒤, 출력 오차를 반대 방향으로 전파하면서 연결강도를 조정하는 학습 알고리즘이다.

10장

딥러닝 기반의 심층신경망은 이미 존재하는 다층 신경망의 특수한 경우로 볼 수 있다.
답: O
딥러닝의 시초는 1980년 일본의 후쿠시마가 개발한 네오코그니트론이다.
답: O
딥러닝은 머신러닝이나 신경망보다 훨씬 큰 규모의 데이터를 학습할 수 없다.
답: X, 딥러닝은 대규모 데이터를 학습하는 데 강점이 있다.
힌턴은 새로운 딥러닝 기반 학습 알고리즘을 제안하여 과적합 문제 등을 해결하는 데 기여하였다.
답: O
RBM은 제한된 볼츠만 머신으로 지도 학습에만 활용된다.
답: X, RBM은 주로 비지도 학습이나 사전 학습에 활용된다.
심층 신뢰 신경망은 사전에 훈련된 RBM을 여러 층으로 쌓아 올린 구조이다.
답: O
컴퓨터 게임의 지능적 행동은 딥러닝 학습을 통해 다양하게 적용되고 있다.
답: O
인공지능 반도체 시장은 앞으로 다소 정체될 것으로 예측된다.
답: X, 인공지능 반도체 시장은 성장할 것으로 예측된다.
텐서플로는 누구나 무료로 다운받아 사용할 수 있는 소프트웨어가 아니다.
답: X, 텐서플로는 오픈소스 소프트웨어로 무료 사용이 가능하다.
텐서플로 자체는 C++로 구현되어 있으며 Python, Java 등의 언어를 지원한다.
답: O
심층신경망은 여러 개의 무엇을 사용하는가?
답: 은닉층
딥러닝의 장점은 무엇과 분류가 자동적으로 이루어진다는 점인가?
답: 특징 추출
순차적 정보가 담긴 데이터에서 규칙적 패턴을 인식하는 신경망은?
답: 순환 신경망
개발자의 성지라고 불리며 오픈소스 소프트웨어의 중심지 역할을 하는 곳은?
답: 깃허브
딥러닝을 지원하는 구글이 만든 소프트웨어는 무엇인가?
답: 텐서플로
텐서플로의 대부분의 편리한 기능은 어떤 라이브러리로 구현되어 있는가?
답: Python 라이브러리
페이스북이 개발한 Python 기반의 오픈소스 머신러닝 라이브러리는 무엇인가?
답: 파이토치
다음 중 텐서플로가 자주 활용되지 않는 것은?

영상인식
음성인식
적분 계산
자연어 처리
답: 3번

주관식

딥러닝이 무엇인가와 응용 분야를 간단히 설명하시오.
답: 딥러닝은 심층신경망을 기반으로 하는 머신러닝의 한 분야이다. 음성인식, 영상인식, 자연어 처리, 게임, 자율주행 등에 활용된다.
세계적인 IT 기업들의 딥러닝 연구 개발 상황을 간략히 요약하시오.
답: 구글, 마이크로소프트, 페이스북 등은 딥러닝 연구개발에 적극 투자하고 있으며, 음성인식, 영상 분류, 얼굴인식, 번역, 자연어 처리 등 다양한 분야에 적용하고 있다.
설명가능 인공지능의 핵심을 간략히 설명하시오.
답: 설명가능 인공지능은 인공지능이 도출한 결과와 판단 과정을 사람이 이해할 수 있도록 설명하여 신뢰성을 높이는 방법이다.
NPU가 무엇인지 간략하게 설명하시오.
답: NPU는 신경망 처리장치로, 딥러닝 연산을 빠르게 처리하기 위해 병렬 연산에 특화된 인공지능 반도체이다.
최근 파이토치의 인기가 높아지는 이유를 말하시오.
답: 설치와 사용이 편리하고, 동적 계산 그래프를 사용해 디버깅이 쉬우며, Python과 호환성이 높고 사용이 직관적이기 때문

11장

음성인식은 발성자의 성별이나 나이, 지속 시간 등에 따라 인식 결과가 다르다.
답: O
영상인식은 2차원이나 3차원의 영상 정보를 다루므로 인식 시간이 상당히 빠른 편이다.
답: X, 영상인식은 처리해야 할 데이터 양이 많아 시간이 오래 걸리는 편이다.
화자종속 음성인식 기술이 화자독립 음성인식 기술보다 훨씬 더 어렵다.
답: X, 화자독립 음성인식 기술이 더 어렵다.
음성합성 시스템은 주어진 문장을 음성으로 들을 수 있는 편리함을 제공할 수 있다.
답: O
대부분의 최신 스마트폰에는 음성인식을 통해 비서 역할을 하는 에이전트가 적용된다.
답: O
지문인식 기술은 보안이 필요한 장소의 신분 확인에 많이 사용된다.
답: O
문자인식은 영상인식의 영역에 속하지 않는다.
답: X, 문자인식은 영상인식 분야의 한 영역이다.
자연어에서 문법적 지식에 의미를 부여하는 것은 구문론적 이해이다.
답: X, 문맥과 의미를 이해하는 것은 의미론적 이해이다.
자연어 이해란 글을 이해하여 자연어 표현의 상황을 이해하는 수준을 말한다.
답: O
네이버의 번역 서비스인 파파고는 여러 언어의 번역 서비스를 제공하고 있다.
답: O
키보드 없이 음성을 인식하여 문서로 바꾸는 장치는 무엇인가?
답: 음성타자기
눈동자의 홍채 정보를 이용하여 사람을 인식하는 기술은 무엇인가?
답: 홍채 인식
문자 정보를 사람이 알아들을 수 있게 음성으로 만들어주는 기술은 무엇인가?
답: 음성 합성
음성인식 기술은 화자종속과 ( ) 음성인식으로 나눌 수 있다.
답: 화자독립
영상 파일을 신경망이나 딥러닝 기술로 분석하여 인식하는 기술은 무엇인가?
답: 영상 인식
주어진 영상을 보고 그 내용까지 이해하는 상당히 지능적인 단계는 무엇인가?
답: 영상 이해
컴퓨터를 통해 서로 다른 언어들을 번역하는 일을 무엇이라 하는가?
답: 기계 번역
다음의 인식 중 접촉식 인식 방법에 해당되는 것은?

홍채인식
지문인식
얼굴인식
자동차 번호판 인식
답: 2번

19. 다음 중 현재의 패턴인식 기술과 관계가 비교적 적은 것은?

문자인식
음성인식
감정인식
얼굴인식
답: 3번

주관식

패턴인식에서 응용되는 대표적인 종류를 쓰시오.
답: 문자 인식, 음성 인식, 영상 인식, 지문 인식, 홍채 인식 등이 있다.
음성인식을 위해 많이 쓰이는 방법을 말하시오.
답: 패턴 매칭, 은닉 마르코프 모델, 딥러닝 등이 사용된다.
출입자의 신분을 확인하는 데 많이 사용되는 3가지 인식 방법을 쓰시오.
답: 얼굴 인식, 홍채 인식, 지문 인식
형식 언어의 정의와 특징을 설명하시오.
답: 형식 언어는 일정한 문법 규칙과 기호 체계에 따라 표현되는 언어이다. 문법이 엄격하며 모호성이 없어야 하고, 규칙에 맞지 않으면 올바른 문장으로 인정되지 않는다.
자연어 처리에서 구문론과 의미론의 차이점을 설명하시오.
답: 구문론은 문장의 문법 구조와 단어 배열 규칙을 분석하는 것이고, 의미론은 문장이 가지는 의미를 해석하는 것이다.

12장

데이터 사이언스는 통계 방법만을 사용하여 대량의 데이터를 처리하는 전문 분야이다.
답: X, 데이터 사이언스는 통계뿐 아니라 머신러닝·알고리즘·데이터 처리 등을 포함한다.
데이터 사이언스는 데이터를 다루는 방법론, 프로세스, 알고리즘 등을 다룬다.
답: O
머신러닝을 전혀 이용하지 않고도 데이터 사이언스가 폭넓게 활용될 수 있다.
답: X, 머신러닝은 데이터 사이언스의 핵심 기술 중 하나이다.
SAS는 통계적 소프트웨어로 안정성과 신뢰성을 가지고 있다.
답: O
데이터 사이언스에서의 분석은 분류, 회귀, 클러스터링에 의한 경우가 많다.
답: O
빅데이터는 구매 패턴 분석과 앱의 경향 분석 등에 응용될 수 있다.
답: O
태풍이나 허리케인과 관련된 빅데이터를 활용하여 재해 예방에 활용하고 있다.
답: O
개인정보보호 문제는 빅데이터의 자료 수집 문제와 거의 관련이 없다.
답: X, 빅데이터 수집 과정에서는 개인정보보호 문제가 중요하게 다루어진다.
데이터 마이닝은 데이터로부터 정보를 추출하고 패턴을 발견하며 예측 모델을 개발하는 데 중심을 둔다.
답: O
우리나라에서는 아직 데이터 거래소가 별로 필요하지 않다.
답: X, 데이터 활용 증가로 데이터 거래소의 필요성이 커지고 있다.
데이터 사이언스나 빅데이터 관련 업무 전문가를 무엇이라 하는가?
답: 데이터 과학자
다양한 형태의 정형 또는 비정형 데이터를 많이 모아 놓은 것은 무엇인가?
답: 빅데이터
빅데이터의 3가지 특징(3V)은 크기, 다양성, 그리고 무엇인가?
답: 속도
주어진 많은 데이터 중 비슷한 특성을 가진 것끼리 분리하는 것은 무엇인가?
답: 분류
탐색적 분석 결과를 보기 쉽고 이해하기 쉽게 표현하는 것은 무엇인가?
답: 시각화
오픈소스 통계 프로그래밍 언어로 데이터 분석과 시각화에 활용되는 것은 무엇인가?
답: R
데이터 사이언스에 필요한 지식과 기술 중 중요성이 상대적으로 적은 것은?

데이터 수집 기술
컴퓨터 하드웨어 지식
통계처리와 시각화 기술
머신러닝과 관련된 지식과 기술
답: 2번

18. 다음 중 데이터 사이언스의 도구와 가장 관계가 먼 것은?

Python
R
SAS
Ruby
답: 4번

주관식

데이터 사이언스를 간단하게 정의하시오.
답: 대량의 데이터를 수집·저장·분석하여 유용한 정보를 추출하고 의사결정에 활용하는 융합 학문 분야이다.
데이터 사이언스는 어떤 분야들의 융합으로 이루어지는지 말하시오.
답: 통계학, 수학, 머신러닝, 빅데이터, 컴퓨터공학, 비즈니스 등의 융합으로 이루어진다.
사용자가 빅데이터를 활용하는 단계를 쓰시오.
답: 요구사항 확인 → 데이터 수집 → 데이터 가공 → 데이터 분석 및 시각화 → 활용의 단계로 진행된다.
데이터 사이언스가 비즈니스에 미치는 좋은 효과를 말하시오.
답: 의사결정 향상, 경영 문제 개선, 미래 예측, 고객 분석, 생산성 향상 등에 도움을 준다.
데이터 마이닝이 많이 활용되는 기업 관련 업무를 쓰시오.
답: 품질 관리, 의료 진단, 금융 신용 평가, 고객 구매 패턴 분석 등에 활용된다.

기초 문제만 이 페이지에 작성해놓고

전체 문제는 '처음만나는 인공지능 2' 글에 올려 놓았습니다.

CNN의 순전파 역전파 과정

김형준 — Fri, 10 Apr 2026 12:33:20 +0900

1. CNN이 하는 일

CNN은 이미지처럼 격자 구조를 가진 데이터를 처리하는 신경망입니다.

일반적인 이미지 데이터는 가로, 세로, 채널로 구성됩니다. 예를 들어 컬러 이미지는 빨강, 초록, 파랑의 3개 채널을 가집니다. CNN은 이 이미지에서 선, 모서리, 색 변화, 질감, 부분 패턴, 물체의 일부, 최종적으로 전체 물체의 특징을 단계적으로 추출합니다.

즉 CNN은 처음부터 “이것은 고양이다”라고 판단하지 않습니다. 먼저 가장 낮은 수준의 특징을 찾고, 그다음 그 특징들을 조합해서 더 복잡한 특징을 만들고, 마지막에 전체 이미지를 분류합니다.

흐름은 보통 다음과 같습니다.

입력 이미지 → 합성곱 → 활성화 함수 → 풀링 → 여러 번 반복 → 펼치기 → 완전연결층 → 출력 확률 → 손실 계산 → 역전파 → 가중치 수정

2. 순전파의 의미

순전파는 입력 데이터가 신경망의 앞에서 뒤로 이동하면서 최종 예측값을 만드는 과정입니다.

예를 들어 강아지 사진을 CNN에 넣으면, CNN은 여러 층을 거치면서 그 이미지가 강아지인지, 고양이인지, 자동차인지에 대한 점수를 만듭니다. 마지막에는 각 클래스에 대한 확률을 출력합니다.

순전파의 목적은 다음과 같습니다.

첫째, 입력 이미지에서 특징을 추출합니다.

둘째, 추출된 특징을 점점 더 추상적인 정보로 바꿉니다.

셋째, 마지막에 분류 결과를 만듭니다.

넷째, 정답과 비교하기 위한 예측값을 생성합니다.

3. 입력 단계

입력 단계에서는 이미지가 숫자 배열로 들어옵니다.

컴퓨터는 이미지를 사람처럼 그림으로 보지 않습니다. 이미지는 픽셀값의 모음입니다. 흑백 이미지는 각 위치마다 밝기값 하나를 가지고, 컬러 이미지는 각 위치마다 빨강, 초록, 파랑 값 세 개를 가집니다.

예를 들어 흑백 손글씨 숫자 이미지는 “어느 위치가 밝고 어느 위치가 어두운지”에 대한 숫자표입니다. 컬러 사진은 “각 위치의 RGB 값이 얼마인지”에 대한 숫자 덩어리입니다.

CNN의 입력은 보통 다음 정보를 포함합니다.

배치 크기: 한 번에 몇 장의 이미지를 처리하는지

채널 수: 흑백이면 1개, 컬러면 3개

높이: 이미지의 세로 크기

너비: 이미지의 가로 크기

딥러닝에서는 이미지를 한 장씩만 넣는 것이 아니라 여러 장을 묶어서 넣는 경우가 많습니다. 이를 배치라고 합니다. 배치를 사용하면 학습이 더 안정적이고 빠르게 진행됩니다.

4. 정규화 단계

이미지를 CNN에 넣기 전에 보통 정규화를 수행합니다.

이미지 픽셀값은 보통 0부터 255 사이입니다. 이 값을 그대로 사용하면 숫자 범위가 커서 학습이 불안정해질 수 있습니다. 그래서 0부터 1 사이로 줄이거나, 평균을 빼고 표준편차로 나누어 일정한 분포를 갖게 만듭니다.

정규화의 목적은 다음과 같습니다.

입력값의 범위를 안정화합니다.

학습 속도를 높입니다.

특정 채널이나 픽셀값이 지나치게 큰 영향을 주는 것을 줄입니다.

경사하강법이 더 안정적으로 작동하게 합니다.

정규화는 CNN 내부의 핵심 연산은 아니지만, 실제 학습에서는 매우 중요한 전처리 단계입니다.

5. 합성곱 계층의 역할

합성곱 계층은 CNN의 핵심입니다.

합성곱 계층은 이미지 전체를 한 번에 보는 것이 아니라, 작은 필터를 이용해 이미지의 작은 영역을 훑으면서 특징을 찾습니다.

필터는 작은 숫자 배열입니다. 예를 들어 3×3 필터는 이미지의 3×3 영역을 한 번에 봅니다. 이 필터가 이미지 위를 왼쪽에서 오른쪽으로, 위에서 아래로 이동하면서 각 위치에서 특정 패턴이 있는지 확인합니다.

필터는 다음과 같은 특징을 감지할 수 있습니다.

수직선, 수평선, 대각선, 모서리, 색 변화, 질감, 반복 패턴, 곡선

초기 CNN 층에서는 단순한 선이나 경계가 주로 감지됩니다. 깊은 층으로 갈수록 눈, 코, 창문 같은 더 복잡한 특징이 감지됩니다.

6. 필터의 의미

필터는 CNN이 학습하는 파라미터입니다.

처음에는 필터 값이 무작위로 초기화됩니다. 이때 필터는 아무 의미 있는 패턴도 잘 찾지 못합니다. 하지만 학습을 반복하면서 필터 값이 조금씩 조정됩니다.

학습이 진행되면 어떤 필터는 세로선을 잘 찾게 되고, 어떤 필터는 둥근 모양을 잘 찾게 되고, 어떤 필터는 질감을 찾습니다.

즉 필터는 사람이 직접 설계하는 것이 아니라 데이터로부터 학습됩니다.

이것이 CNN의 중요한 장점입니다. 과거의 이미지 처리에서는 사람이 직접 “모서리 검출기”, “색상 특징”, “질감 특징”을 설계해야 했습니다. CNN은 이러한 특징 추출기를 스스로 학습합니다.

7. 합성곱 연산의 실제 의미

합성곱 연산은 필터와 이미지의 작은 영역을 비교하는 과정입니다.

필터가 이미지의 한 위치에 놓이면, 그 위치의 작은 이미지 조각과 필터가 서로 얼마나 잘 맞는지 계산합니다. 잘 맞으면 큰 값이 나오고, 잘 맞지 않으면 작은 값이 나옵니다.

예를 들어 어떤 필터가 세로선을 감지하도록 학습되었다고 가정합니다. 이미지의 특정 위치에 세로선이 있으면 그 필터의 출력값이 커집니다. 세로선이 없으면 출력값이 작습니다.

이렇게 필터가 이미지 전체를 훑으면, “이미지의 어느 위치에 해당 특징이 있는지”를 나타내는 새로운 지도가 만들어집니다. 이것을 feature map 또는 activation map이라고 합니다.

8. Feature Map의 의미

Feature map은 특정 필터가 감지한 특징의 위치 정보를 담고 있습니다.

예를 들어 첫 번째 필터가 수직선을 감지한다면, 첫 번째 feature map은 이미지에서 수직선이 강하게 나타나는 위치를 표시합니다.

두 번째 필터가 수평선을 감지한다면, 두 번째 feature map은 수평선이 있는 위치를 표시합니다.

세 번째 필터가 모서리를 감지한다면, 세 번째 feature map은 모서리가 있는 위치를 표시합니다.

즉 합성곱 계층의 출력은 단순한 이미지가 아니라 여러 종류의 특징 지도입니다.

필터가 많을수록 더 다양한 특징을 추출할 수 있습니다. 예를 들어 필터가 32개라면 32개의 feature map이 생성됩니다.

9. 채널의 변화

입력 이미지가 RGB 이미지라면 입력 채널은 3개입니다.

합성곱 필터는 이 3개 채널을 동시에 봅니다. 즉 빨강 채널, 초록 채널, 파랑 채널 각각에서 정보를 가져와 하나의 출력 feature map을 만듭니다.

필터가 여러 개 있으면 출력 채널 수도 여러 개가 됩니다.

예를 들어 입력이 RGB 이미지라서 채널이 3개이고, 합성곱 계층에 필터가 64개 있다면 출력 feature map은 64개 채널을 갖게 됩니다.

즉 CNN에서는 공간 크기뿐 아니라 채널 수도 계속 변합니다.

초기에는 이미지의 실제 색상 채널이 중요하지만, 깊은 층으로 갈수록 채널은 더 이상 빨강, 초록, 파랑을 의미하지 않습니다. 대신 각각의 채널은 CNN이 학습한 특정 특징을 의미합니다.

10. Padding의 역할

합성곱을 할 때 필터가 이미지의 가장자리까지 이동하면 문제가 생깁니다. 필터가 가장자리에 놓일 때는 필터 일부가 이미지 밖으로 나가기 때문입니다.

이를 해결하기 위해 이미지 주변에 0 또는 특정 값을 덧붙이는 작업을 합니다. 이것이 padding입니다.

Padding의 목적은 다음과 같습니다.

출력 크기를 유지합니다.

이미지 가장자리 정보가 너무 빨리 사라지는 것을 막습니다.

깊은 네트워크에서 공간 크기가 급격히 줄어드는 것을 방지합니다.

가장자리 픽셀도 충분히 연산에 참여하게 합니다.

Padding이 없으면 합성곱을 할 때마다 이미지 크기가 줄어듭니다. 여러 층을 지나면 feature map이 너무 작아질 수 있습니다. 따라서 많은 CNN에서는 padding을 사용합니다.

11. Stride의 역할

Stride는 필터가 한 번에 몇 칸씩 이동하는지를 의미합니다.

Stride가 1이면 필터가 한 칸씩 이동합니다. 이 경우 세밀하게 이미지를 훑습니다.

Stride가 2이면 필터가 두 칸씩 이동합니다. 이 경우 출력 feature map의 크기가 줄어듭니다.

Stride가 클수록 다음과 같은 효과가 있습니다.

계산량이 줄어듭니다.

출력 크기가 작아집니다.

세밀한 위치 정보는 일부 손실됩니다.

더 넓은 영역을 빠르게 압축할 수 있습니다.

즉 stride는 정보의 세밀함과 계산 효율 사이의 균형을 조절합니다.

12. Bias의 역할

합성곱 계층에는 필터뿐 아니라 bias도 있습니다.

Bias는 각 필터의 출력에 추가되는 값입니다. Bias는 해당 필터가 얼마나 쉽게 활성화될지를 조절합니다.

예를 들어 어떤 필터가 특정 패턴을 감지할 때, bias가 크면 조금 약한 패턴에도 반응할 수 있습니다. bias가 작거나 음수이면 더 강한 패턴이 있어야 반응합니다.

즉 bias는 필터의 기준점을 조절하는 역할을 합니다.

13. 활성화 함수의 필요성

합성곱 연산만 반복하면 CNN은 복잡한 문제를 잘 풀 수 없습니다. 이유는 합성곱 자체가 기본적으로 선형 연산이기 때문입니다.

선형 연산만 여러 번 쌓아도 결국 하나의 큰 선형 연산과 비슷한 효과밖에 내지 못합니다. 따라서 복잡한 이미지 패턴을 표현하기 어렵습니다.

이를 해결하기 위해 활성화 함수를 사용합니다.

활성화 함수는 합성곱 결과에 비선형성을 추가합니다. 비선형성이 있어야 CNN은 단순한 선, 모서리뿐 아니라 복잡한 물체 형태까지 학습할 수 있습니다.

14. ReLU의 역할

CNN에서 가장 많이 사용되는 활성화 함수는 ReLU입니다.

ReLU는 양수 값은 그대로 통과시키고, 음수 값은 0으로 만듭니다.

이것의 의미는 다음과 같습니다.

특정 필터가 어떤 위치에서 패턴을 강하게 감지하면 그 값은 유지합니다.

패턴이 없거나 반대로 나타난 위치는 0으로 만듭니다.

불필요한 음수 반응을 제거합니다.

계산이 매우 빠릅니다.

gradient가 비교적 잘 흐릅니다.

ReLU를 사용하면 feature map이 더 희소해집니다. 즉 많은 위치가 0이 되고, 중요한 위치만 남습니다. 이것은 계산 효율과 특징 선택에 도움이 됩니다.

15. 활성화 이후 feature map의 의미

합성곱 직후의 출력은 필터와 입력 영역의 일치 정도를 나타냅니다.

활성화 함수를 거친 뒤에는 “해당 특징이 실제로 의미 있게 존재하는 위치”만 강조됩니다.

예를 들어 어떤 필터가 눈 모양을 찾는 필터라면, ReLU 이후에는 눈 모양이 있다고 판단되는 위치만 양수로 남고 나머지는 0이 될 수 있습니다.

따라서 활성화 함수는 단순한 숫자 변환이 아니라, CNN이 어떤 특징을 중요하게 볼지 결정하는 데 큰 역할을 합니다.

16. Pooling의 역할

Pooling은 feature map의 공간 크기를 줄이는 연산입니다.

이미지에서 특징이 정확히 어느 픽셀에 있는지도 중요하지만, 많은 경우에는 “대략 어느 영역에 있는지”만 알아도 충분합니다.

예를 들어 고양이 귀가 이미지의 왼쪽 위에 조금 있든, 왼쪽 위에서 몇 픽셀 아래에 있든, 여전히 고양이 귀라는 사실은 변하지 않습니다.

Pooling은 이런 작은 위치 변화에 덜 민감하게 만들어 줍니다.

Pooling의 목적은 다음과 같습니다.

공간 크기를 줄입니다.

계산량을 줄입니다.

중요한 특징만 남깁니다.

작은 위치 변화에 대한 안정성을 높입니다.

과적합을 줄이는 데 도움을 줍니다.

17. Max Pooling

Max Pooling은 작은 영역 안에서 가장 큰 값만 선택합니다.

의미는 다음과 같습니다.

어떤 영역 안에서 특정 특징이 한 번이라도 강하게 나타났다면, 그 특징이 존재한다고 판단합니다.

예를 들어 2×2 영역 안에 네 개의 값이 있을 때, 가장 큰 값 하나만 다음 층으로 보냅니다. 나머지 값은 버립니다.

Max Pooling은 특징의 존재 여부를 강조합니다. 그래서 CNN에서 매우 자주 사용됩니다.

예를 들어 어떤 영역 안에 모서리 반응이 강하게 나타났다면, 정확한 위치는 조금 버리더라도 “이 영역에 모서리가 있다”는 정보를 유지합니다.

18. Average Pooling

Average Pooling은 작은 영역 안의 값들을 평균냅니다.

Max Pooling이 가장 강한 특징 하나를 선택한다면, Average Pooling은 전체적인 평균 반응을 봅니다.

Average Pooling은 다음과 같은 경우에 의미가 있습니다.

전체적인 분포가 중요할 때

너무 강한 하나의 값보다 영역 전체의 평균적 특징을 보고 싶을 때

마지막 단계에서 전체 feature map을 요약하고 싶을 때

특히 Global Average Pooling은 CNN의 마지막 부분에서 자주 사용됩니다. 전체 feature map을 하나의 평균값으로 줄여 각 채널이 얼마나 활성화되었는지를 요약합니다.

19. 여러 합성곱 블록의 반복

실제 CNN은 합성곱, 활성화, 풀링을 한 번만 하지 않습니다.

보통 다음과 같은 블록을 여러 번 반복합니다.

합성곱 → 활성화 → 합성곱 → 활성화 → 풀링

또는

합성곱 → 배치 정규화 → 활성화 → 풀링

이렇게 여러 층을 쌓는 이유는 낮은 수준의 특징에서 높은 수준의 특징으로 점진적으로 올라가기 위해서입니다.

20. Receptive Field의 의미

Receptive field는 어떤 출력값 하나가 입력 이미지의 어느 정도 영역을 보고 만들어졌는지를 의미합니다.

초기 합성곱 층의 출력값 하나는 입력 이미지의 작은 영역만 봅니다. 예를 들어 3×3 정도의 영역만 볼 수 있습니다.

하지만 여러 합성곱 층과 풀링 층을 지나면, 깊은 층의 출력값 하나는 입력 이미지의 훨씬 넓은 영역을 반영합니다.

즉 깊은 층으로 갈수록 각 뉴런은 이미지의 더 넓은 문맥을 이해하게 됩니다.

초기 층: 작은 선, 점, 경계

중간 층: 물체의 일부

깊은 층: 물체 전체 또는 큰 구조

이것이 CNN이 계층적으로 특징을 학습한다고 말하는 이유입니다.

21. Flatten 단계

합성곱과 풀링을 여러 번 거치면, 출력은 여전히 여러 개의 feature map 형태입니다.

하지만 마지막 분류기에서는 보통 이 feature map들을 하나의 긴 벡터로 펼쳐서 사용합니다. 이 과정을 flatten이라고 합니다.

Flatten은 계산 자체가 복잡한 연산은 아닙니다. 단순히 다차원 배열을 일렬로 나열하는 작업입니다.

예를 들어 여러 장의 특징 지도를 한 줄의 긴 특징 벡터로 바꿉니다.

이 벡터에는 이미지에서 추출된 고수준 특징들이 들어 있습니다. 분류기는 이 벡터를 보고 최종 클래스를 판단합니다.

22. 완전연결층의 역할

완전연결층은 추출된 특징을 바탕으로 최종 판단을 수행합니다.

합성곱 부분이 “특징 추출기”라면, 완전연결층은 “분류기”입니다.

예를 들어 CNN 앞부분이 다음 정보를 추출했다고 가정합니다.

둥근 귀가 있다.

수염 같은 선이 있다.

두 눈이 있다.

털 질감이 있다.

얼굴 형태가 있다.

완전연결층은 이 특징들을 종합해서 “고양이일 가능성이 높다”고 판단합니다.

즉 완전연결층은 추출된 특징들의 조합을 학습합니다.

23. Logit의 의미

완전연결층의 마지막 출력은 보통 logit이라고 부릅니다.

Logit은 아직 확률이 아닙니다. 각 클래스에 대한 점수입니다.

예를 들어 모델이 세 가지 클래스를 분류한다고 가정합니다.

고양이 점수

강아지 점수

자동차 점수

이 점수들은 확률처럼 0부터 1 사이일 필요가 없습니다. 음수일 수도 있고 큰 양수일 수도 있습니다.

이 logit을 확률로 바꾸기 위해 Softmax를 사용합니다.

24. Softmax의 역할

Softmax는 여러 클래스 점수를 확률처럼 해석할 수 있게 바꾸는 함수입니다.

Softmax를 거치면 모든 클래스의 출력값이 0과 1 사이가 되고, 전체 합이 1이 됩니다.

예를 들어 최종 출력이 다음처럼 해석될 수 있습니다.

고양이: 0.82

강아지: 0.15

자동차: 0.03

이 경우 모델은 고양이라고 예측합니다.

Softmax의 역할은 단순히 가장 큰 점수를 찾는 것이 아니라, 각 클래스에 대한 상대적 확신도를 확률 형태로 표현하는 것입니다.

25. 손실 함수의 역할

손실 함수는 모델의 예측이 정답과 얼마나 다른지 측정합니다.

예를 들어 정답은 고양이인데 모델이 강아지라고 높은 확률로 예측했다면 손실이 큽니다.

정답이 고양이이고 모델도 고양이에 높은 확률을 주었다면 손실이 작습니다.

분류 문제에서는 보통 Cross Entropy Loss를 사용합니다.

이 손실 함수는 정답 클래스에 모델이 얼마나 높은 확률을 주었는지를 기준으로 손실을 계산합니다.

정답 클래스의 확률이 높을수록 손실은 작아집니다.

정답 클래스의 확률이 낮을수록 손실은 커집니다.

손실은 학습의 기준입니다. 역전파는 이 손실을 줄이기 위해 진행됩니다.

26. 순전파 전체 요약

순전파는 다음 의미를 갖습니다.

이미지를 숫자 배열로 입력받습니다.

합성곱 필터가 이미지의 작은 영역을 훑으며 특징을 찾습니다.

각 필터는 특정 패턴이 어디에 있는지 feature map으로 표시합니다.

활성화 함수는 중요한 반응만 남기고 비선형성을 추가합니다.

풀링은 공간 크기를 줄이고 중요한 특징을 압축합니다.

이 과정을 여러 번 반복하면서 단순한 특징이 복잡한 특징으로 변합니다.

Flatten은 feature map을 벡터로 펼칩니다.

완전연결층은 특징 벡터를 바탕으로 클래스 점수를 계산합니다.

Softmax는 점수를 확률로 바꿉니다.

손실 함수는 예측 확률과 정답의 차이를 계산합니다.

27. 역전파의 의미

역전파는 모델이 틀린 이유를 거꾸로 추적하는 과정입니다.

순전파에서는 입력에서 출력 방향으로 정보가 흐릅니다.

역전파에서는 손실에서 입력 방향으로 gradient가 흐릅니다.

여기서 gradient는 “이 값이 조금 변하면 손실이 얼마나 변하는가”를 의미합니다.

즉 역전파는 각 파라미터에게 다음 질문을 던지는 과정입니다.

이 필터 값이 손실을 키웠는가 줄였는가?

이 bias가 예측 오류에 얼마나 영향을 주었는가?

이 feature map의 어떤 위치가 오답에 기여했는가?

어떤 입력 특징이 최종 판단에 영향을 주었는가?

이 질문의 답을 바탕으로 모델은 가중치를 수정합니다.

28. 역전파의 기본 원리

역전파는 연쇄 법칙을 사용합니다.

하지만 수식 없이 말하면, 복잡한 계산을 여러 작은 단계로 나눈 뒤, 마지막 손실에서부터 각 단계의 책임을 거꾸로 계산하는 방식입니다.

예를 들어 다음 흐름이 있다고 가정합니다.

입력 → 합성곱 → ReLU → Pooling → 완전연결층 → 출력 → 손실

역전파는 반대로 진행됩니다.

손실 → 출력 → 완전연결층 → Pooling → ReLU → 합성곱 → 입력

각 단계는 자신이 순전파 때 어떤 계산을 했는지 기억하고 있다가, 역전파 때 그 계산에 맞게 gradient를 이전 단계로 넘깁니다.

29. 손실에서 시작하는 역전파

역전파는 손실 함수에서 시작합니다.

손실 함수는 모델의 예측과 정답의 차이를 나타냅니다. 따라서 손실이 크다는 것은 모델이 많이 틀렸다는 뜻입니다.

역전파의 첫 단계는 “최종 출력이 어떻게 바뀌면 손실이 줄어드는가”를 계산하는 것입니다.

예를 들어 정답이 고양이인데 모델이 강아지 확률을 높게 주었다면, 역전파는 다음 방향의 신호를 만듭니다.

고양이 점수는 높여야 한다.

강아지 점수는 낮춰야 한다.

자동차 점수도 필요하면 낮춰야 한다.

이 신호가 뒤쪽 계층에서 앞쪽 계층으로 전달됩니다.

30. Softmax와 Cross Entropy의 역전파 의미

Softmax와 Cross Entropy를 함께 사용하면 역전파 신호가 매우 직관적으로 해석됩니다.

각 클래스에 대해 모델의 예측 확률과 실제 정답의 차이가 gradient가 됩니다.

정답 클래스의 예측 확률이 낮으면, 그 클래스 점수를 올리라는 신호가 생깁니다.

정답이 아닌 클래스의 예측 확률이 높으면, 그 클래스 점수를 낮추라는 신호가 생깁니다.

예를 들어 정답은 고양이인데 모델이 다음과 같이 예측했다고 가정합니다.

고양이: 낮음

강아지: 높음

자동차: 조금 높음

그러면 역전파는 다음과 같은 방향을 만듭니다.

고양이로 이어지는 연결을 강화합니다.

강아지로 이어지는 잘못된 연결을 약화합니다.

자동차로 이어지는 불필요한 연결도 조정합니다.

31. 완전연결층 역전파

완전연결층에서는 입력 특징 벡터와 가중치가 결합되어 클래스 점수가 만들어집니다.

역전파에서는 세 가지를 계산합니다.

첫째, 완전연결층의 가중치를 어떻게 수정해야 하는지 계산합니다.

둘째, 완전연결층의 bias를 어떻게 수정해야 하는지 계산합니다.

셋째, 이전 단계인 flatten된 feature 벡터로 gradient를 전달합니다.

완전연결층의 가중치는 “어떤 특징이 어떤 클래스 판단에 얼마나 기여했는지”를 나타냅니다.

예를 들어 어떤 특징이 고양이 판단에 사용되었는데 실제로 정답도 고양이라면, 그 연결은 강화될 수 있습니다.

반대로 어떤 특징이 강아지 판단에 강하게 기여했지만 정답이 고양이라면, 그 연결은 약화됩니다.

즉 완전연결층 역전파는 특징과 클래스 사이의 관계를 조정합니다.

32. Flatten 역전파

Flatten은 순전파에서 feature map을 긴 벡터로 바꿨습니다.

역전파에서는 이 벡터 형태의 gradient를 다시 원래 feature map 모양으로 되돌립니다.

Flatten은 값을 계산해서 바꾸는 연산이 아니라 모양만 바꾸는 연산입니다. 따라서 역전파에서도 gradient 값 자체를 복잡하게 변형하지 않습니다.

단순히 “이 벡터의 각 원소가 원래 feature map의 어느 위치였는지”를 찾아서 다시 배치합니다.

33. Pooling 역전파의 의미

Pooling은 순전파에서 공간 정보를 줄였습니다.

역전파에서는 줄어든 gradient를 원래 pooling 이전 크기로 되돌려야 합니다.

Pooling 방식에 따라 gradient를 되돌리는 방법이 다릅니다.

Max Pooling은 최댓값이 선택된 위치로만 gradient를 보냅니다.

Average Pooling은 해당 영역 전체에 gradient를 나누어 보냅니다.

34. Max Pooling 역전파

Max Pooling은 순전파 때 각 영역에서 가장 큰 값 하나만 선택했습니다.

따라서 역전파에서도 그 선택된 위치만 책임을 집니다.

예를 들어 2×2 영역에서 네 값 중 하나가 가장 커서 출력으로 선택되었다면, 역전파 때 gradient는 그 위치로만 전달됩니다. 나머지 세 위치는 gradient를 받지 않습니다.

이유는 간단합니다.

순전파 결과에 실제로 영향을 준 값은 최댓값 하나뿐이기 때문입니다. 나머지 값들은 출력에 선택되지 않았으므로, 그 출력의 오류에 대한 직접적인 책임이 없습니다.

즉 Max Pooling 역전파는 “순전파 때 이긴 위치에게만 책임을 준다”고 이해하면 됩니다.

35. Average Pooling 역전파

Average Pooling은 순전파 때 영역 안의 모든 값을 평균냈습니다.

따라서 역전파에서는 해당 영역의 모든 값이 출력에 기여했다고 봅니다.

결과적으로 gradient는 영역 안의 모든 위치에 균등하게 나누어 전달됩니다.

즉 Average Pooling 역전파는 “모든 참여자가 동일하게 책임을 나눠 갖는다”고 이해하면 됩니다.

36. ReLU 역전파

ReLU는 순전파에서 양수는 통과시키고 음수는 0으로 만들었습니다.

역전파에서는 순전파 때 양수였던 위치만 gradient를 통과시킵니다.

순전파 때 값이 양수였다는 것은 해당 뉴런이 활성화되었다는 뜻입니다. 따라서 그 뉴런은 이후 출력에 영향을 줄 수 있었습니다.

반대로 순전파 때 값이 0 이하라서 ReLU에 의해 0이 된 위치는 이후 계산에 영향을 주지 못했습니다. 따라서 역전파 때도 gradient가 통과하지 않습니다.

즉 ReLU 역전파는 다음과 같이 이해할 수 있습니다.

켜져 있던 뉴런은 책임을 받는다.

꺼져 있던 뉴런은 책임을 받지 않는다.

37. Sigmoid와 Tanh 역전파의 의미

Sigmoid와 Tanh는 ReLU와 다르게 부드러운 곡선을 가진 활성화 함수입니다.

이 함수들은 입력이 너무 크거나 너무 작으면 출력이 거의 변하지 않는 구간에 들어갑니다. 이 구간에서는 gradient가 매우 작아집니다.

이것이 vanishing gradient 문제의 원인이 될 수 있습니다.

CNN에서는 은닉층 활성화 함수로 Sigmoid나 Tanh보다 ReLU 계열이 더 많이 사용됩니다. ReLU는 계산이 빠르고, 양수 영역에서 gradient가 비교적 잘 흐르기 때문입니다.

38. 합성곱 계층 역전파의 핵심

합성곱 계층 역전파는 CNN 학습의 핵심입니다.

합성곱 계층에서는 다음 세 가지를 계산해야 합니다.

첫째, 필터를 어떻게 바꿔야 하는가.

둘째, bias를 어떻게 바꿔야 하는가.

셋째, 이전 계층으로 어떤 gradient를 보내야 하는가.

합성곱 계층의 필터는 이미지의 여러 위치에서 반복적으로 사용됩니다. 이것을 weight sharing이라고 합니다.

하나의 필터 값은 이미지의 한 위치에서만 쓰이는 것이 아니라, 필터가 이동하는 모든 위치에서 사용됩니다.

따라서 필터의 gradient는 모든 위치에서 받은 책임을 합쳐서 계산됩니다.

39. 필터 gradient의 의미

필터 gradient는 “이 필터 값이 손실에 얼마나 영향을 주었는지”를 나타냅니다.

예를 들어 어떤 필터가 고양이 귀를 잘 찾도록 학습되어야 하는데, 현재 필터가 엉뚱한 배경 패턴에 반응하고 있다면 역전파는 그 필터를 수정하는 방향의 gradient를 만듭니다.

필터가 올바른 특징에 반응하면 그 방향은 강화됩니다.

필터가 잘못된 특징에 반응하면 그 방향은 약화됩니다.

중요한 점은 필터 하나가 이미지 전체를 훑기 때문에, 필터 gradient는 이미지의 모든 위치에서의 반응을 종합해서 만들어진다는 것입니다.

즉 필터는 한 위치에서만 학습되는 것이 아니라, 전체 이미지와 전체 배치에서 반복적으로 학습됩니다.

40. Bias gradient의 의미

Bias는 필터의 출력 전체에 더해지는 기준값입니다.

역전파에서는 해당 필터의 모든 출력 위치에서 들어온 gradient를 모아 bias를 수정합니다.

만약 어떤 필터가 전체적으로 너무 쉽게 활성화되어 오답을 만든다면 bias가 낮아질 수 있습니다.

반대로 어떤 필터가 필요한 상황에서도 잘 활성화되지 않는다면 bias가 높아질 수 있습니다.

Bias는 필터의 민감도를 조절하는 역할을 합니다.

41. 입력 gradient의 의미

합성곱 계층은 이전 계층에서 받은 feature map을 입력으로 사용합니다.

역전파에서는 현재 계층의 오류 신호를 이전 계층으로 전달해야 합니다.

이를 위해 입력 gradient를 계산합니다.

입력 gradient는 “이전 계층의 어떤 위치가 현재 계층의 오류에 얼마나 영향을 주었는지”를 나타냅니다.

이 값은 다시 이전 계층의 활성화 함수, pooling, 합성곱 계층으로 전달됩니다.

즉 입력 gradient는 학습 신호를 더 앞쪽 계층으로 되돌려 보내는 통로입니다.

42. Weight Sharing과 역전파

CNN의 중요한 특징은 weight sharing입니다.

완전연결층에서는 위치마다 다른 가중치를 사용할 수 있습니다. 하지만 합성곱에서는 하나의 필터가 이미지 전체에 공유됩니다.

이 때문에 CNN은 같은 패턴이 이미지 어디에 나타나도 감지할 수 있습니다.

예를 들어 눈이라는 패턴은 이미지의 왼쪽에 있어도, 오른쪽에 있어도, 위쪽에 있어도 감지될 수 있습니다.

역전파에서도 이 공유 구조가 반영됩니다.

하나의 필터는 여러 위치에서 사용되므로, 모든 위치에서 발생한 gradient가 하나의 필터 업데이트에 합산됩니다.

이것이 CNN이 파라미터 수를 줄이면서도 강력한 특징 추출 능력을 갖는 이유입니다.

47. 한 번의 학습 반복 과정

CNN 학습의 한 반복은 다음 순서로 진행됩니다.

첫째, 배치 데이터를 가져옵니다.

둘째, 이미지를 CNN에 입력합니다.

셋째, 합성곱, 활성화, 풀링 등을 거쳐 예측값을 만듭니다.

넷째, 예측값과 정답을 비교해 손실을 계산합니다.

다섯째, 손실에서부터 역전파를 수행합니다.

여섯째, 각 파라미터의 gradient를 계산합니다.

일곱째, optimizer가 파라미터를 수정합니다.

여덟째, 다음 배치에서 이 과정을 반복합니다.

이 과정을 수천 번, 수만 번 반복하면서 CNN은 점점 더 좋은 필터와 분류기를 학습합니다.

51. Batch Normalization의 역할

Batch Normalization은 중간 feature map의 분포를 안정화하는 방법입니다.

신경망의 각 층은 앞 층의 출력 분포가 계속 바뀌면 학습하기 어렵습니다. Batch Normalization은 각 층의 입력 분포를 일정하게 맞춰 학습을 안정화합니다.

효과는 다음과 같습니다.

학습이 빨라집니다.

gradient 흐름이 안정됩니다.

초기값에 덜 민감해집니다.

약간의 정규화 효과도 있습니다.

CNN에서는 합성곱 뒤, 활성화 함수 앞 또는 뒤에 Batch Normalization을 넣는 경우가 많습니다.

53. CNN이 위치 변화에 강한 이유

CNN은 완전연결망보다 이미지 처리에 강합니다.

이유는 세 가지입니다.

첫째, 지역 연결입니다. CNN은 이미지의 작은 영역을 중심으로 특징을 찾습니다.

둘째, 가중치 공유입니다. 같은 필터가 이미지 전체를 훑으므로 같은 패턴을 어디서든 찾을 수 있습니다.

셋째, 풀링입니다. 작은 위치 변화가 있어도 비슷한 특징 표현을 유지할 수 있습니다.

이 때문에 CNN은 이미지의 공간 구조를 잘 활용합니다.

54. CNN과 일반 완전연결망의 차이

완전연결망은 이미지를 일렬 벡터로 펼쳐서 처리합니다.

이 경우 이미지의 위치 구조가 사라집니다. 예를 들어 서로 가까운 픽셀들이 원래 이웃이었다는 정보를 직접 활용하기 어렵습니다.

반면 CNN은 이미지의 2차원 구조를 유지한 채 처리합니다.

가까운 픽셀끼리 먼저 묶어서 보고, 필터를 통해 지역 패턴을 찾습니다.

또한 CNN은 필터를 공유하기 때문에 파라미터 수가 훨씬 적습니다.

따라서 이미지 처리에는 CNN이 훨씬 효율적입니다.

55. 역전파에서 중요한 저장값

역전파를 하려면 순전파 때의 중간값을 저장해야 합니다.

예를 들어 다음 정보가 필요합니다.

합성곱 입력

필터

합성곱 출력

ReLU 적용 전 값

Pooling에서 최댓값이 선택된 위치

Flatten 이전의 원래 shape

완전연결층 입력

Softmax 출력

이 값들이 있어야 역전파 때 gradient를 정확히 계산할 수 있습니다.

그래서 학습 중에는 추론보다 메모리를 더 많이 사용합니다. 추론은 순전파만 하면 되지만, 학습은 역전파를 위해 중간 결과를 저장해야 하기 때문입니다.

57. CNN 학습이 진행되며 일어나는 변화

학습 초기에는 필터가 무작위이므로 feature map도 의미가 없습니다.

모델의 예측은 거의 랜덤에 가깝습니다.

손실이 크고, 역전파 신호도 큽니다.

학습이 진행되면 필터가 점점 의미 있는 패턴에 반응하기 시작합니다.

초기 층은 선과 경계를 찾습니다.

중간 층은 모양과 부분 구조를 찾습니다.

깊은 층은 클래스 구분에 중요한 고수준 특징을 찾습니다.

마지막 분류기는 이 특징들을 조합하여 정답 클래스의 점수를 높이는 방향으로 학습됩니다.

58. CNN 순전파와 역전파를 비유로 설명

CNN 순전파는 검사관들이 이미지를 단계별로 분석하는 과정과 비슷합니다.

첫 번째 검사관은 선과 모서리를 찾습니다.

두 번째 검사관은 선과 모서리를 조합해서 눈, 코, 바퀴 같은 부품을 찾습니다.

세 번째 검사관은 부품들을 조합해서 얼굴, 자동차, 동물 같은 더 큰 구조를 찾습니다.

마지막 판정관은 이 정보를 보고 최종 결론을 냅니다.

역전파는 판정이 틀렸을 때 책임을 되돌려 묻는 과정입니다.

최종 판정관이 왜 틀렸는지 확인합니다.

그 판정에 영향을 준 고수준 특징을 확인합니다.

그 고수준 특징을 만든 중간 특징을 확인합니다.

그 중간 특징을 만든 필터를 확인합니다.

각 필터에게 “다음에는 이 방향으로 조금 수정하라”고 지시합니다.

이 과정을 반복하면 CNN은 점점 더 정확한 검사관 집단이 됩니다.

59. 전체 흐름 최종 정리

CNN의 순전파는 이미지를 입력받아 특징을 단계적으로 추출하고, 최종적으로 클래스 확률을 출력하는 과정입니다.

합성곱은 작은 필터로 지역 특징을 찾습니다.

활성화 함수는 중요한 반응을 남기고 비선형성을 추가합니다.

풀링은 특징을 압축하고 위치 변화에 강하게 만듭니다.

여러 층을 반복하면 단순한 특징이 복잡한 특징으로 발전합니다.

Flatten은 feature map을 분류기가 사용할 수 있는 벡터로 바꿉니다.

완전연결층은 추출된 특징을 바탕으로 클래스 점수를 계산합니다.

Softmax는 점수를 확률로 바꿉니다.

손실 함수는 예측이 정답과 얼마나 다른지 측정합니다.

CNN의 역전파는 손실에서 시작해 각 계층으로 오류 책임을 되돌려 보내는 과정입니다.

출력층은 어떤 클래스 점수를 올리고 내려야 하는지 계산합니다.

완전연결층은 특징과 클래스 사이의 연결을 수정합니다.

Flatten은 gradient 모양을 원래 feature map으로 되돌립니다.

Pooling은 순전파 방식에 맞게 gradient를 되돌립니다.

ReLU는 활성화되었던 위치에만 gradient를 통과시킵니다.

합성곱 계층은 필터, bias, 입력에 대한 gradient를 계산합니다.

Optimizer는 계산된 gradient를 사용해 파라미터를 업데이트합니다.

김형준의 개발자 블로그

26년 인턴준비 SQL

1. 면접관이 말한 “SQL을 1주일 공부해 오라”의 의미

2. 공부해야 할 내용의 우선순위

1순위. 기본 조회문을 자유롭게 작성하기

2순위. JOIN

3순위. 집계와 GROUP BY

4순위. NULL, 중복값 및 데이터 이상 검증

NULL 확인

중복 키 확인

값의 범위 확인

참조 무결성 확인

날짜 논리 오류 확인

5순위. CASE WHEN

6순위. 서브쿼리와 CTE

7순위. 윈도우 함수

3. 실제로 나올 가능성이 높은 SQL 업무

데이터 수집 결과 검증

추천 결과 검증

AI 또는 RAG 결과 검증

데이터셋 생성 및 정제

4. SQLD 보유자인 경우 부족할 가능성이 높은 부분

첫째, 빈 화면에서 직접 쿼리를 작성하는 능력

둘째, 테이블 관계를 파악하는 능력

셋째, 결과가 맞는지 검증하는 능력

넷째, 데이터 이상을 찾는 능력

5. 1주일 학습 계획

1일 차: 기본 조회와 조건문

2일 차: GROUP BY와 집계함수

3일 차: JOIN 집중 연습

4일 차: 데이터 검증 SQL

5일 차: CASE WHEN, 서브쿼리 및 CTE

6일 차: 윈도우 함수

7일 차: 모의 과제 수행

6. 실무 전에 반드시 풀어봐야 할 문제

문제 1

문제 2

문제 3

문제 4

문제 5

결론

26년 여름 인턴 준비 리스트

1. AI Agent

2. 벡터 디비

3. RAG

1. RAG 정의

2. RAG의 필수 개념

문서 수집

청킹(Chunking)

임베딩(Embedding)

벡터 DB

검색(Retrieval)

생성(Generation)

3. 문서 임베딩 방식

Hugging Face 모델 사용

API 임베딩 사용

직접 학습한 모델 사용

상황별 선택

4. 질문 임베딩 방식

5. 질문과 자료의 유사도 검사 방식

코사인 유사도

내적(Dot Product)

4. LangGraph의 State

1. State 정의

2. State의 기본 지식

State는 DB와 다름

모든 노드가 같은 State 구조를 사용함

노드는 전체 State를 다시 반환하지 않아도 됨

같은 항목의 갱신 방법을 정해야 함

3. State의 주요 구성 요소

Reducer

Node

Edge

START와 END

Checkpointer

4. State 구현 방법

1단계: Agent가 기억해야 할 정보 결정

2단계: State Schema 설계

3단계: 각 필드의 갱신 방식 결정

4단계: Node별 역할 결정