김형준의 개발자 블로그

1. 면접관이 말한 “SQL을 1주일 공부해 오라”의 의미기업이 요구한 것은 SQLD 시험을 다시 공부하라는 의미보다는, 실제 데이터베이스에서 데이터를 조회하고 검증할 수 있을 정도로 SQL을 직접 작성해 보라는 의미입니다.따라서 면접관이 기대하는 수준은 다음과 같습니다.“SQL 문법을 알고 있는가?”가 아니라“테이블 구조를 보고 필요한 데이터를 추출하고, 이상 여부를 확인하며, 결과가 맞는지 검증할 수 있는가?”2. 공부해야 할 내용의 우선순위1순위. 기본 조회문을 자유롭게 작성하기SQLD 자격증이 있다면 개념은 이미 알고 있을 가능성이 높습니다. 다만 면접에서는 문법 설명보다 직접 작성 능력이 중요합니다.반드시 익혀야 하는 내용은 다음과 같습니다.SELECTFROMWHEREORDER BYLIMITDI..

1. AI Agent순위요구 지식이유1Python 기초Agent와 Tool을 함수 및 클래스로 구현2API 및 JSON외부 서비스와 LLM을 연결3LLM 기본 원리모델의 한계와 응답 특성 이해4프롬프트 엔지니어링역할, 규칙, 출력 형식 제어5Function Calling 및 Tool CallingLLM이 적절한 도구를 호출하도록 구현6Agent Workflow분기, 반복, 종료 조건 설계7상태 및 메모리 관리중간 결과와 대화 기록 관리8RAG문서 및 데이터 검색 기반 답변 구현9데이터베이스사용자 정보, 실행 기록, 문서 저장10검색 및 재랭킹관련 자료를 정확하게 선별11평가 방법Agent 성능을 객관적으로 측정12비동기 및 병렬 처리여러 API와 도구를 효율적으로 실행13백엔드 개발Agent를 웹 서비스..

1. AI agent 정의: LLM이 도구와 상태를 이용해 목표를 달성하도록 판단하고 행동하는 시스템입니다.사용자 목표 입력 ↓ 해야 할 일 판단 ↓ 필요한 도구 선택 ↓ 검색·계산·API 호출·DB 조회 ↓ 결과 확인 ↓ 필요하면 다시 실행 ↓ 최종 답변 또는 업무 완료 2. AI agent 프레임워크 종류 프레임워크특징적합 경우난이도1LangChain모델, 프롬프트, 도구, 검색 등을 쉽게 연결범용 Agent, RAG, 빠른 개발낮음2LangGraph상태·노드·분기·반복을 그래프로 제어복잡한 업무 흐름, 장기 실행, 실제 서비스중상3직접 Python 구현반복문, 함수, API 호출로 자체 구현보안·성능·세밀한 제어가 필요한 서비스낮음~높음4OpenAI Agent S..

1. 정의Cross Entropy Loss는 모델이 예측한 확률 분포와 실제 정답 분포가 얼마나 다른지를 측정하는 손실 함수입니다.분류 문제에서 가장 많이 사용되는 손실 함수이며, 특히 다음 상황에서 핵심적으로 사용됩니다.이미지 분류텍스트 분류음성 분류CNN 분류기TransformerLLM next-token prediction 한 문장으로 정의하면 다음과 같습니다.Cross Entropy Loss = 정답 클래스에 모델이 얼마나 높은 확률을 부여했는지 평가하는 손실 함수 조금 더 정확히 말하면 다음입니다.Cross Entropy Loss = 실제 정답 분포를 기준으로 예측 확률 분포가 얼마나 비효율적인지 측정하는 함수 즉, 단순히 “맞았다 / 틀렸다”만 보는 것이 아닙니다.정답을 맞혔는가?정답에 얼마나..

QLoRA 개요1. 정의QLoRA(Quantized Low-Rank Adaptation)는 사전학습된 대형 언어 모델을 저비트, 보통 4-bit로 양자화한 상태로 고정하고, 그 위에 LoRA adapter만 추가하여 학습하는 파라미터 효율적 미세조정 방식입니다.한 문장으로 정의하면 다음과 같습니다.QLoRA = 4-bit로 압축한 원본 LLM + 학습 가능한 LoRA adapter 즉, QLoRA는 LoRA의 확장형입니다.LoRA는 원본 모델을 고정하고 작은 low-rank adapter만 학습합니다.QLoRA는 여기에 원본 모델을 4-bit로 양자화하여 메모리 사용량을 더 줄이는 방식을 추가합니다.정리하면 다음과 같습니다.구분설명LoRA원본 모델을 고정하고 작은 adapter만 학습QLoRA원본 모델을..

1. ROUGE-1 / ROUGE-2 / ROUGE-L구현:compute_rouge()scorer = rouge_scorer.RougeScorer( ["rouge1", "rouge2", "rougeL"], use_stemmer=True) 정의모델이 생성한 summary(prediction)와 정답 summary(reference)가 얼마나 단어 수준에서 겹치는지 측정하는 지표입니다.Clinical summarization에서 가장 전통적으로 쓰이는 평가입니다.ROUGE-1의미1-gram(단어 1개 단위) overlap정답:"persistent cough for three weeks"예측:"cough lasting three weeks"공통 단어:coughthreeweeks같은 단어가 얼마나 많..

LoRA 개요1. 정의LoRA(Low-Rank Adaptation)는 대형 언어 모델(LLM)의 전체 가중치를 직접 학습하지 않고, 기존 가중치는 고정한 상태에서 작은 추가 학습 모듈만 학습하는 파라미터 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법입니다.일반적인 full fine-tuning은 모델의 모든 파라미터를 업데이트합니다. 예를 들어 7B 모델이면 약 70억 개 파라미터 전체가 학습 대상입니다. LoRA는 모델의 가중치 대부분을 그대로 두고, 일부 레이어에 작은 행렬 두 개를 추가한 뒤 그 행렬만 학습합니다.정리하면 다음과 같습니다.기존 fine-tuning모델 전체 가중치 W를 직접 업데이트LoRA기존 W는 고정하고, 작은 보정값 ΔW만 학습목적적..