AI 논문 로드맵

읽는 방법 논문 36편 + 교과서 3권 · 그중 8개는 코드까지

기준 하나 — 교과서에 코드 수준으로 들어간 것은 교과서로, 아직 못 들어간 것은 논문으로. 랜덤포레스트·Adam·ResNet·word2vec·Seq2Seq·GPT-2는 혼공머신 · 밑바닥 1·2 · Raschka가 이미 코드로 다룬다. 원논문 33쪽에서 알고리즘은 반 쪽이고 나머지는 지금 아무도 안 쓰는 이론이다. 그래서 고전은 교과서로 보고 구현만 한다. 논문은 교과서가 아직 못 담은 것, 곧 2020년 이후 33편 + 원문이 여전히 표준인 고전 3편(Vaswani 2017 · VAE 2013 · DDPM 2020)만 읽는다.

목표 — 한 분야를 깊게 파는 게 아니라 지금 쓰이는 머신러닝의 지도를 그린다. 표 데이터 → 비전 → 시퀀스 → 트랜스포머 → 생성모델 → LLM·추론·서빙까지, 각 갈래가 무엇을 풀려고 나왔는지를 원문으로 확인한다. 대학원 수업에서 무엇이 나와도 "아, 그 논문"이 되는 상태가 목적.

원칙 — 요약서는 남의 이해다. 원문은 왜 그렇게 했는지가 남아 있고, 구현은 이해했는지를 거짓말 못 하게 검증한다. 구현 8개 중 ⑥ 트랜스포머와 ⑦ VAE만 논문을 보고 짜고, 나머지 6개는 교과서를 보고 짠다.

읽는 순서 (한 편당 40분~1시간) — ① 초록 → ② 그림·표만 훑기 → ③ 결론 → ④ 그다음 본문. 처음부터 순서대로 읽지 않는다.

남기는 것 — 논문 하나당 세 줄. ⓐ 이 논문 전에는 무엇이 안 됐나 ⓑ 무엇을 바꿨나 ⓒ 그래서 지금 뭐에 쓰이나. 이 세 줄이 그대로 면접 답변이 된다. 교과서로 본 고전도 연도와 한 줄은 남긴다. 계보 질문은 연도로 답한다.

수식 — 처음엔 넘긴다. 구현할 ⑥⑦에서만 수식을 붙잡는다. 나머지는 "무엇을 최소화하는가" 한 줄만 알면 된다.

우선순위 — 대학원 리딩리스트처럼 세 단계. 1순위 8편 = 구현 대상 2편(Vaswani · VAE) + 핵심 6편(Grinsztajn · Latent Diffusion · GPT-3 · RAG · InstructGPT · DeepSeek-R1). 시간이 모자라면 이것만 한다. 2순위 17편은 수업과 면접을 받쳐주는 몸통. 3순위 11편은 여유 있을 때 — 밀리면 입학 후로 넘긴다. 아래 표를 우선순위순으로 정렬하면 그대로 보인다.

논문 36편 · 우선순위 3단계 연도 = 처음 공개된 해 · 학회 = 실제 게재처

정렬 보기

	순위	연도	논문	학회	이 논문이 처음 한 것	할 일
갈래 1 · 표 데이터와 일반화 2019 – 2025 · 고전 ML은 혼공머신으로 보고, 논문은 "그 상식이 어디까지 맞나"만 읽는다
	권장	2019	Deep Double Descent: Where Bigger Models and More Data Hurt Nakkiran 외 · OpenAI	ICLR 2020	편향-분산 트레이드오프가 깨진다. 교과서의 상식과 큰 모델의 현실을 잇는 다리	읽기
	필수	2022	Why do tree-based models still outperform deep learning on typical tabular data? Grinsztajn · Oyallon · Varoquaux	NeurIPS 2022 D&B	수식이 거의 없는 실험 논문. 표 데이터에서 트리가 이기는 이유 세 가지(불규칙한 함수 · 무의미한 특성 · 회전 불변성). 가장 먼저 읽을 것 — 구현 ①이 이 논문의 축소 재현이다	읽기
	여유	2025	Accurate predictions on small data with a tabular foundation model (TabPFN) Hollmann 외 · Freiburg	Nature	표 데이터에도 파운데이션 모델이 왔다. 트랜스포머가 학습 없이 표를 "읽고" 예측한다 — Grinsztajn의 반대편 증거	발췌
갈래 2 · 비전과 멀티모달 2020 – 2024 · CNN 계보(LeNet → ResNet)는 밑바닥 1의 7–8장으로 · 논문은 트랜스포머가 비전에 들어온 뒤부터
	권장	2020	An Image is Worth 16x16 Words (ViT) Dosovitskiy 외 · Google	ICLR 2021	이미지를 패치 토큰으로. CNN 없이 트랜스포머만. 구현 ③ ResNet 바로 뒤에 읽으면 대비가 선명하다	읽기
	권장	2021	Learning Transferable Visual Models from Natural Language (CLIP) Radford 외 · OpenAI	ICML	이미지와 텍스트를 같은 임베딩 공간에. 멀티모달의 토대이자 Stable Diffusion의 텍스트 조건	읽기
	여유	2022	A ConvNet for the 2020s (ConvNeXt) Liu 외 · Meta	CVPR	"CNN은 끝났나"에 대한 답. ViT의 설계를 CNN에 옮겨 심으면 따라잡는다	읽기
	여유	2023	DINOv2: Learning Robust Visual Features without Supervision Oquab 외 · Meta	TMLR 2024	레이블 없이 배운 비전 특징이 범용이 된다. 자기지도학습의 현재 표준 — SimCLR(2020)의 후계	읽기
	여유	2023	Segment Anything (SAM) Kirillov 외 · Meta	ICCV	파운데이션 모델이 비전으로. 프롬프트로 분할한다	읽기
	권장	2023	Visual Instruction Tuning (LLaVA) Liu 외 · Wisconsin · Microsoft	NeurIPS	CLIP 인코더 + 선형층 하나 + LLM. 멀티모달 LLM의 표준 레시피가 이렇게 단순하다는 것	읽기
	여유	2024	Accurate structure prediction of biomolecular interactions with AlphaFold 3 Abramson 외 · DeepMind	Nature	2024 노벨화학상의 후속. 구조 생성이 확산모델로 바뀌었다 — 갈래 3이 과학의 도구가 된 증거. 개요만	발췌
갈래 3 · 생성모델 2013 – 2024 · GAN은 개념 한 줄로 · 잠재변수 → 확산 → 잠재 확산 → 트랜스포머 백본 → 흐름
	필수	2013	Auto-Encoding Variational Bayes (VAE) Kingma · Welling	ICLR 2014	잠재변수 + 재파라미터화 트릭. 확률과 딥러닝이 만나는 지점. 교과서가 ELBO 유도를 단순화하기 때문에 원문으로 남긴 고전	구현 ⑦
	권장	2020	Denoising Diffusion Probabilistic Models (DDPM) Ho · Jain · Abbeel	NeurIPS	노이즈를 걷어내며 생성한다. 손실이 결국 노이즈 예측 MSE 하나로 줄어드는 유도가 핵심	읽기
	필수	2021	High-Resolution Image Synthesis with Latent Diffusion Models (Stable Diffusion) Rombach 외	CVPR 2022	픽셀이 아니라 잠재공간에서 확산시킨다. VAE + U-Net + 크로스어텐션(CLIP 텍스트)이 한꺼번에 합쳐지는 자리 — 실제로 쓰이는 건 DDPM이 아니라 이것	읽기
	권장	2022	Scalable Diffusion Models with Transformers (DiT) Peebles · Xie	ICCV 2023	확산의 백본을 U-Net에서 트랜스포머로. SD3 · Sora가 이 위에 서 있다 — 구현 ⑥이 생성모델과 만나는 자리	읽기
	여유	2024	Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (Stable Diffusion 3) Esser 외 · Stability AI	ICML	확산 대신 직선 흐름(Flow Matching 2022)으로, 백본은 DiT로. 지금 이미지 생성이 실제로 쓰는 조합. 2장(흐름)과 그림만	발췌
갈래 4 · 트랜스포머와 그 후계 2017 – 2023 · 이 로드맵의 본체 · RNN·LSTM·Seq2Seq·Bahdanau는 밑바닥 2의 5–8장으로
	필수	2017	Attention Is All You Need Vaswani 외 · Google	NeurIPS	순환을 버리고 어텐션만 남긴다. 교과서들이 풀어 쓰다 √d_k 같은 이유를 흘리고, 면접에서 원문을 묻는 유일한 고전. 이 로드맵의 본체	구현 ⑥
	권장	2021	RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE) Su 외	Neurocomputing 2024	위치를 더하지 않고 회전시킨다. 2017의 sin/cos는 지금 아무도 안 쓰고 Llama · DeepSeek · Qwen 전부 이것. 구현 ⑧에서 바꿔 끼워본다	읽기
	권장	2022	FlashAttention Dao 외 · Stanford	NeurIPS	수식이 아니라 메모리 계층을 고쳐서 빨라진다. 구현 ⑥에서 직접 짠 어텐션이 GPU에서 왜 느린지를 이 논문이 답한다. 8년차 백엔드 경험이 그대로 읽히는 곳	읽기
	여유	2023	Mamba: Linear-Time Sequence Modeling with Selective State Spaces Gu · Dao	COLM 2024	어텐션의 O(n²)를 선형으로. 상태공간모델이라는 다른 갈래 — LSTM 이후 처음 나온 진짜 대안	읽기
갈래 5 · LLM 만들기 2020 – 2025 · 본인 직무와 가장 가까운 구간 · 사전학습 → 스케일 → 정렬 → 추론
	필수	2020	Language Models are Few-Shot Learners (GPT-3) Brown 외 · OpenAI	NeurIPS	파인튜닝 없이 프롬프트만으로. 프롬프트 엔지니어링의 출발점. GPT-2는 Raschka 책으로 구현 ⑧에서 짜니 논문은 이것부터	읽기
	권장	2021	LoRA: Low-Rank Adaptation Hu 외 · Microsoft	ICLR 2022	저랭크 행렬 두 개만 학습. 선형대수의 랭크가 여기서 돈이 된다	읽기
	권장	2022	Training Compute-Optimal Large Language Models (Chinchilla) Hoffmann 외 · DeepMind	NeurIPS	같은 연산이면 모델을 키우지 말고 데이터를 20배로. Kaplan(2020)의 스케일링 법칙을 고쳐 쓴 논문이라 이것만 읽으면 된다	읽기
	필수	2022	Training Language Models to Follow Instructions (InstructGPT · RLHF) Ouyang 외 · OpenAI	NeurIPS	정렬(alignment). SFT → 보상모델 → PPO 세 단계. PPO 자체는 OpenAI Spinning Up 문서로 본다 — 논문(2017)보다 그쪽이 코드가 있다	읽기
	권장	2023	Direct Preference Optimization (DPO) Rafailov 외 · Stanford	NeurIPS	보상모델도 강화학습도 없이 정렬한다. InstructGPT와 짝으로 읽을 것 — 지금 오픈 모델 대부분이 이쪽	읽기
	권장	2024	DeepSeekMath: Pushing the Limits of Mathematical Reasoning (GRPO) Shao 외 · DeepSeek	arXiv	PPO에서 가치망을 떼고 그룹 평균을 기준선으로. R1을 읽으려면 4장(GRPO)만은 먼저 봐야 한다	발췌
	권장	2024	The Llama 3 Herd of Models Meta	arXiv	공개된 것 중 가장 상세한 "요즘 LLM은 실제로 이렇게 만든다" 기록. 92쪽 — 데이터·인프라 장만 발췌해도 값어치가 있다	발췌
	권장	2024	DeepSeek-V3 Technical Report DeepSeek-AI	arXiv	MoE(토큰마다 전문가 일부만) + MLA(KV 캐시 압축) + FP8 학습 + 통신 스케줄링. 시스템 논문이라 백엔드 경험이 가장 잘 읽히는 한 편. Switch Transformer(2021)는 이걸로 갈음	발췌
	필수	2025	DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL DeepSeek-AI	Nature 2025	정답 여부만 보상으로 줘도 추론이 스스로 자란다(GRPO). LLM 논문 최초의 Nature 게재 — "최근 본 논문" 질문의 답이 되는 한 편	읽기
갈래 6 · 추론 · RAG · 에이전트 · 서빙 2020 – 2025 · 업무와 직결되는 구간 · 모델 밖에서 성능을 올리는 방법들
	필수	2020	Retrieval-Augmented Generation (RAG) Lewis 외 · Meta	NeurIPS	검색을 생성에 붙인다. 업무 경험에 근거를 달아주는 논문	읽기
	권장	2022	Chain-of-Thought Prompting Wei 외 · Google	NeurIPS	중간 과정을 쓰게 하면 추론 성능이 뛴다. R1이 이걸 학습으로 만든다	읽기
	권장	2022	ReAct: Synergizing Reasoning and Acting Yao 외 · Princeton · Google	ICLR 2023	추론과 도구 호출을 번갈아 한다. 지금 에이전트의 원형	읽기
	여유	2022	Fast Inference from Transformers via Speculative Decoding Leviathan · Kalman · Matias · Google	ICML 2023	작은 모델이 먼저 쓰고 큰 모델이 검증한다. 출력 분포는 그대로인데 2~3배 빠르다 — 서빙 쪽 필수 상식	읽기
	여유	2023	Lost in the Middle: How Language Models Use Long Contexts Liu 외 · Stanford	TACL 2024	긴 문맥의 가운데에 있는 근거는 놓친다. RAG에서 검색 결과를 어떻게 배치할지가 여기서 정해진다	읽기
	권장	2023	Efficient Memory Management for LLM Serving with PagedAttention (vLLM) Kwon 외 · Berkeley	SOSP	KV 캐시를 OS의 페이징처럼 관리한다. 운영체제 지식이 그대로 LLM 서빙 논문이 된 것 — 직무와 가장 가까운 한 편	읽기
	여유	2024	Scaling Monosemanticity (희소 오토인코더로 LLM 내부 읽기) Templeton 외 · Anthropic	Anthropic 기술보고서	"모델이 왜 그렇게 판단했나"의 LLM판. 구현 ①의 SHAP가 표 데이터 해석이라면 이건 언어모델 해석. 개요와 그림만	발췌
	여유	2025	s1: Simple test-time scaling Muennighoff 외 · Stanford	arXiv	예제 1,000개와 "Wait" 한 단어로 추론 시간을 늘린다. R1의 결과를 가장 작은 규모로 재현한 논문 — 추론 시간 스케일링이 무엇인지 여기서 감이 온다	읽기
필수 1순위 8편 · 구현 대상 2 + 핵심 6 — 시간이 모자라면 이것만 한다
권장 2순위 17편 · 수업과 면접을 받쳐주는 몸통
여유 3순위 11편 · 발췌·※ 전부 여기 — 밀리면 입학 후로 넘긴다

※ 표시 3편 (SAM · Mamba · s1) — 읽기 전에 확인할 것. 아직 시간이 걸러주지 않은 구간이다. 최신 서베이를 먼저 훑고, 지금도 표준으로 인용되는지 확인한 뒤 읽는다. DPO · DeepSeek-V3 · R1은 자리가 굳은 걸 확인하고 ※ 없이 넣었다.

교과서로 대체한 고전 — SVM(1995) · 라쏘(1996) · 랜덤포레스트(2001) · XGBoost(2016)는 혼공머신 3–5장. 역전파(1986) · Dropout · Adam(2014) · BatchNorm(2015) · LeNet → AlexNet → VGG → ResNet(2015)은 밑바닥 1의 5–8장. LSTM(1997) · word2vec(2013) · Seq2Seq · Bahdanau(2014)는 밑바닥 2의 3–8장. GPT-2(2019)는 Raschka. 연도는 외운다. 계보 질문은 연도로 답한다.

솔직한 한계 — 이 목록은 2026년 5월까지의 지식으로 만들었다. 그 뒤에 나온 것은 여기 없다. 원서 쓰기 전(2026년 11월)에 최신 구간 한두 편을 직접 채워 넣을 것 — 그 행위 자체가 좋은 훈련이다.

직접 구현 8개 갈래마다 하나씩 · ①~⑤⑧은 교과서를, ⑥⑦은 논문을 보고 짠다 · 남의 코드는 막힌 뒤에

규칙 — 참고 구현은 먼저 열지 않는다. 교과서의 설명(또는 논문의 그림과 수식)만 보고 짜다가 막히면 그때 연다. 여기서 늘어나는 게 실력이다. 각 구현은 노트북 하나 + README 한 장으로 끝낸다 — README에는 어느 수식이 코드 어느 줄인지 대조표를 넣는다.

배치 — 고전 ML · 최적화 · 비전 · 표현학습 · 시퀀스 · 트랜스포머 · 생성모델 · LLM에 하나씩. 한 갈래도 손으로 안 짜본 채 넘어가지 않는다. 자기소개서의 프레임은 "논문 몇 편 읽었다"가 아니라 "8개를 짜서 원본과 비교했다"다.

① 결정트리 + 랜덤포레스트 — NumPy · 지니 불순도 · 재귀 분할 · 배깅 · 특성 무작위 선택 · 원본은 혼공머신 5장sklearn과 정확도를 맞춘다. 같은 표 데이터에 MLP를 돌려 Grinsztajn(2022)의 결론을 축소 재현하고, shap 라이브러리를 붙여 feature importance와 비교고전 ML을 한 번은 손으로 짜본다. 표 데이터 실무에서 제일 자주 만나는 모델
② Adam — NumPy 20줄. 원본은 밑바닥 1의 6장. 간단한 회귀에 꽂아 쓴다SGD → Momentum → RMSProp → Adam을 한 줄씩 차이로 말한다. 편향 보정이 왜 필요한지
③ ResNet-18 — CIFAR-10 · 스킵 연결을 뺀 VGG 스타일 버전과 같이 학습 · 원본은 밑바닥 1의 8장 + PyTorch 튜토리얼두 학습 곡선을 나란히 놓고 "깊게 쌓으면 왜 더 나빠졌는가"를 설명. 바로 뒤에 ViT(2020)를 읽는다
④ word2vec — skip-gram + 네거티브 샘플링 · NumPy · 원본은 밑바닥 2의 3–4장 · 결과는 sklearn의 t-SNE로 찍는다유사 단어 top-5가 말이 된다. 네거티브 샘플링이 무엇을 근사하는지 설명
⑤ Seq2Seq + 어텐션 — PyTorch · 원본은 밑바닥 2의 7–8장 · 어텐션 없는 버전과 같이 학습하고 정렬 히트맵긴 입력에서 성능이 벌어지는 걸 그래프로 보여준다. 히트맵에 대각선이 생기는 이유
본체⑥ 트랜스포머 전체 — 논문만 보고 PyTorch로 처음부터. 멀티헤드 · 포지셔널 인코딩 · 마스킹 · 인코더-디코더√d_k로 나누는 이유, 마스킹 두 종류(패딩·미래)의 차이, PE가 왜 sin/cos인지 — 셋 다 노트 없이25주 중 5주를 여기에 쓴다. 이 하나가 지원서와 면접의 중심이 된다
⑦ VAE — 논문을 보고 · MNIST · 재파라미터화 트릭을 직접 · 잠재공간 2차원으로 찍어보기"왜 샘플링을 그냥 하면 역전파가 안 되는가"를 설명. KL 항이 무엇을 누르는지
⑧ 미니 GPT — 디코더만 · 문자 단위 · 작은 코퍼스 · 원본은 Raschka 「Build a LLM (From Scratch)」파라미터 수를 손으로 계산해서 코드 출력과 맞춘다. ⑥과 무엇이 다른지(디코더만·인과 마스킹) 설명. 여유가 있으면 sin/cos를 RoPE(2021)로 바꿔 끼운다

주차별 2026.09.07 – 2027.02.28 · 25주 · 주 3.4시간

주	기간	논문 · 할 일
1부 · 표 데이터와 일반화 4주 · 혼공머신 1–6장 + 논문 3편 + 구현 ① · 관점부터 세운다
W1	9/7–9/13	The Bitter Lesson(Sutton 2019, 2쪽) 읽기 — "손으로 넣은 지식은 결국 연산에 진다"는 관점 · 혼공머신 1–3장(kNN·회귀·릿지·라쏘)
W2	9/14–9/20	필수 Grinsztajn(2022) 읽기 — Bitter Lesson의 반례가 표 데이터라는 것 · 혼공머신 4–5장(로지스틱·트리·앙상블)
W3	9/21–9/27	구현 ① 결정트리 + 랜덤포레스트 (NumPy) · sklearn과 비교 · 같은 데이터에 MLP
W4	9/28–10/4	구현 ①에 SHAP 라이브러리 붙이기 · Double Descent(2019) 읽기 · TabPFN(2025) 발췌 · 혼공머신 6장(k-평균·PCA)
2부 · 신경망 기초와 비전 5주 · 밑바닥 1 복습 + 논문 4편 + 구현 ②③
W5	10/5–10/11	밑바닥 1의 5–6장 복습(역전파·옵티마이저·초기화·BatchNorm·Dropout) · 3B1B 선형대수 15편
W6	10/12–10/18	구현 ② Adam (NumPy) · 밑바닥 1의 6장 코드와 대조 · 미적분 6개 정리
W7	10/19–10/25	밑바닥 1의 7–8장(CNN · LeNet → AlexNet → VGG → ResNet 계보) · PyTorch 60분 블리츠
W8	10/26–11/1	구현 ③ ResNet-18 · CIFAR-10 · 스킵 연결 뺀 VGG 스타일과 비교
W9	11/2–11/8	ViT(2020) · ConvNeXt(2022) · DINOv2(2023) · SAM(2023)※ 읽기 — CNN과 트랜스포머의 결판
3부 · 시퀀스와 어텐션 4주 · 밑바닥 2 + 구현 ④⑤ · 논문 없음
W10	11/9–11/15	밑바닥 2의 2–4장(분산 표현 · word2vec · 네거티브 샘플링) 정독
W11	11/16–11/22	구현 ④ word2vec skip-gram + 네거티브 샘플링 (NumPy) · 결과를 t-SNE로
W12	11/23–11/29	밑바닥 2의 5–8장(RNN · LSTM · seq2seq · 어텐션) 정독 — 트랜스포머 직전 무엇이 막혀 있었나
W13	11/30–12/6	구현 ⑤ Seq2Seq + 어텐션 (PyTorch) · 정렬 히트맵
4부 · 트랜스포머 5주 · 논문 3편 + 구현 ⑥ · 이 로드맵의 본체
W14	12/7–12/13	필수 Attention Is All You Need(2017) 1회독 · Illustrated Transformer로 그림 먼저 · LayerNorm은 같이 본다
W15	12/14–12/20	2회독 — 논문 그림을 덮고 구조도를 직접 그린다. 차원을 전부 손으로 적는다 · RoPE(2021) 읽기 — sin/cos 다음에 온 것
W16	12/21–12/27	구현 ⑥-a 멀티헤드 어텐션 + 포지셔널 인코딩 + 마스킹
W17	12/28–1/3	구현 ⑥-b 인코더-디코더 전체 조립 · 작은 번역 데이터로 학습
W18	1/4–1/10	정리 · GitHub 공개 · 논문 수식 ↔ 코드 줄 대조표 · FlashAttention(2022) 읽기 — 내가 짠 어텐션이 GPU에서 왜 느린가
5부 · 생성모델 3주 · 논문 6편 + 구현 ⑦
W19	1/11–1/17	필수 VAE(2013) 정독 · DDPM(2020) 읽기 · 확률통계 5개 정리
W20	1/18–1/24	구현 ⑦ VAE · MNIST · 재파라미터화 트릭 · 잠재공간 2차원 시각화
W21	1/25–1/31	필수 Latent Diffusion(2021) · DiT(2022) · SD3(2024) 발췌 · CLIP(2021) · AlphaFold 3(2024) 발췌 — VAE와 U-Net이 만나고, 백본이 트랜스포머로, 확산이 흐름으로 넘어간다
6부 · LLM · 추론 · 서빙 4주 · 논문 17편 + 구현 ⑧ · 가장 빡빡한 구간 — 3순위는 여기서 유동
W22	2/1–2/7	구현 ⑧ 미니 GPT (Raschka 책) · 필수 GPT-3(2020) 읽기 · LLaVA(2023) — CLIP + LLM
W23	2/8–2/14	Chinchilla(2022) · LoRA(2021) 읽기 · Llama 3(2024) · DeepSeek-V3(2024) 발췌 · Mamba(2023)※ — 요즘 모델은 실제로 이렇게 만든다
W24	2/15–2/21	필수 InstructGPT(2022) (PPO는 Spinning Up 문서로) · DPO(2023) · GRPO(2024) 발췌 · 필수 DeepSeek-R1(2025) · s1(2025)※ — 정렬에서 추론까지
W25	2/22–2/28	필수 RAG(2020) · CoT(2022) · ReAct(2022) · vLLM(2023) · Speculative Decoding(2022) · Lost in the Middle(2023) · Monosemanticity(2024) 발췌 · 전체 복기 — 3순위는 밀리면 입학 후로. R1과 vLLM은 "최근 본 논문" 질문의 답이니 버리지 않는다

전체 과목 ✓ 보유 · ◐ 진행 중 · ○ 필요 | [지금] 입학 전 · [입학 후] 수업 들으며

과목	목차 · 어디서 보나	상태	시점
A. 수학
A1 선형대수	벡터·행렬, 선형변환, 행렬곱, 랭크·선형독립, 역행렬, 고유값·고유벡터, 대각화, SVD, 직교·정사영, 노름	○ 필요	[지금] W5 · 6개만
A2 미적분·최적화	편미분, 그래디언트, 연쇄법칙, 야코비안·헤시안, 경사하강법, 학습률, SGD·Momentum·Adam, 볼록성	○ 필요	[지금] W5–W6 · 구현 ②
A3 확률·통계	확률변수, 분포, 기댓값·분산, 조건부확률·베이즈, 공분산·상관, MLE·MAP, KL divergence, 편향-분산	○ 필요	[지금] W19 VAE와 같이
B. 프로그래밍 · 도구
B1 파이썬 문법	—	✓ 보유	—
B2 데이터 스택	numpy(브로드캐스팅·벡터화), pandas, matplotlib	○ 필요	[지금] 구현 ①에서
B3 scikit-learn	파이프라인, 전처리, 교차검증, 그리드서치 — 혼공머신 5장	○ 필요	[지금] W2–W3
B4 PyTorch	텐서, autograd, `nn.Module`, Dataset·DataLoader, 학습 루프	○ 필요	[지금] W7–W8 구현 ③에서
B5 자동미분 내부	계산그래프, Define-by-Run, 고차 미분 — PyTorch autograd 소스 읽기	○ 필요	[입학 후] 선택
C. 고전 머신러닝 — 혼공머신으로 간다
C1 관점	Bitter Lesson(2019) — 연산이 이긴다 · Grinsztajn(2022) — 그런데 표 데이터에서는 트리가 이긴다	○ 필요	[지금] ★ W1–W2
C2 회귀·규제	선형회귀, 다항회귀, 릿지·라쏘 — 혼공 3장	○ 필요	[지금] W1
C3 분류	로지스틱 회귀, kNN, SGD 분류기 — 혼공 1·4장 · SVM은 대학원 수업에서	○ 필요	[지금] W2
C4 트리·앙상블	결정트리, 랜덤포레스트, 그래디언트 부스팅 — 혼공 5장 · XGBoost는 라이브러리로	○ 필요	[지금] ★ 구현 ①
C5 비지도·차원축소	k-평균, PCA — 혼공 6장 · t-SNE는 sklearn 호출	○ 필요	[지금] W4
C6 평가·검증·해석	교차검증, 과적합·정규화, precision·recall·F1·ROC-AUC, 불균형 데이터 — 혼공 · SHAP(라이브러리) · Double Descent(2019) · TabPFN(2025)	○ 필요	[지금] W4
D. 딥러닝 — 토대는 밑바닥 1·2로, 2020년 이후는 논문으로
D1 신경망 기초	퍼셉트론, 활성화함수, 순전파, 역전파 — 밑바닥 1의 3–5장	✓ 밑바닥 1	[지금] W5 복습
D2 학습 기술	초기화, 드롭아웃, Adam, 배치정규화 — 밑바닥 1의 6장 · 층정규화는 Vaswani에서	◐ 부분	[지금] W5–W6 · 구현 ②
D3 CNN·비전	LeNet(1998) → AlexNet(2012) → VGG(2014) → ResNet(2015)은 밑바닥 1의 7–8장 · ViT(2020) · ConvNeXt(2022) · DINOv2(2023) · SAM(2023)은 논문	◐ 밑바닥 1	[지금] 2부 · 구현 ③
D4 RNN·seq2seq	RNN · LSTM(1997) · Seq2Seq(2014) · Bahdanau 어텐션(2014) — 밑바닥 2의 5–8장	○ 필요	[지금] 구현 ④⑤
D5 트랜스포머	Vaswani(2017) → RoPE(2021) → FlashAttention(2022) → Mamba(2023) · 인코더만(BERT) · 디코더만(GPT) 구분은 개념으로	○ 필요	[지금] ★본체 구현 ⑥⑧
D6 생성모델	VAE(2013) · DDPM(2020) · Latent Diffusion(2021) · DiT(2022) · SD3(2024) · GAN(2014)은 개념 한 줄	○ 필요	[지금] 구현 ⑦
D7 강화학습	PPO는 OpenAI Spinning Up 문서 · GRPO(2024) — RLHF(2022)와 R1(2025)에서 만난다	○ 필요	[지금] W24 읽기만
D8 멀티모달·과학	CLIP(2021) · LLaVA(2023) · AlphaFold 3(2024)	○ 필요	[지금] W21–W22
E. LLM — 직무와 가장 가까운 구간
E1 구조·스케일	GPT-2는 Raschka로 구현 ⑧ · GPT-3(2020) · Chinchilla(2022) · Llama 3(2024) · DeepSeek-V3(2024) · LoRA(2021)	◐ 부분	[지금] W22–W23
E2 RAG · 에이전트 · 서빙	RAG(2020) · CoT(2022) · ReAct(2022) · Lost in the Middle(2023) · vLLM(2023) · Speculative Decoding(2022)	◐ 조사함	[지금] W25 논문으로 근거 보강
E3 정렬·추론·해석	InstructGPT·RLHF(2022) · DPO(2023) · GRPO(2024) · DeepSeek-R1(2025) · s1(2025) · Monosemanticity(2024)	○ 필요	[지금] W24–W25 읽기만
E4 MLOps·서빙	모델 서빙, 배치·스트리밍, 모니터링	✓ 실무 경험	[지금] 스토리로 · vLLM 논문에 붙인다
F. CS 기초
F1 CS 전반	자료구조, 알고리즘, DB, 네트워크, OS, 분산시스템 — vLLM · FlashAttention · DeepSeek-V3를 읽을 때 강점이 된다	✓ 8년차	준비 대상 아님

시간 배분 25주 × 3.4시간 ≈ 85시간 · 3순위 포함 기준

항목	시간	어디까지	자료
트랜스포머 정독 + 구현 ⑥	12h	논문만 보고 처음부터 짠다	Vaswani 2017 · Annotated Transformer
나머지 구현 7개 (①②③④⑤⑦⑧)	24h	갈래마다 하나씩 · 각각 노트북 1개 + README	교과서 · VAE 논문 · NumPy · PyTorch
교과서 3권 (구현 ①~⑤⑧의 원본)	12h	혼공 1–6장 · 밑바닥 1의 5–8장 복습 · 밑바닥 2의 2–8장 · Raschka는 구현 ⑧과 같이	혼공머신 · 밑바닥 1·2 · Raschka
핵심 논문 정독 8편 (1순위)	12h	그림 없이 구조를 다시 그린다 — Vaswani · VAE의 정독은 구현 시간에 포함	arXiv · 저널 원문
배경 논문 속독 28편 (2·3순위)	17h	초록·그림·결론 + 세 줄 요약 · 발췌는 해당 장만	arXiv
선형대수	4h	개념 6개 두 문장씩	3B1B 15편 · W5
확률·통계	2h	베이즈·MLE·KL·편향분산	VAE 논문과 같이
면접 답변 정리	2h	논문별 세 줄 → 답변 한 문단	본인 구현
합	85h	2026.09.07 – 2027.02.28 · 3순위 11편을 미루면 78h까지 내려간다

못 지킬 때는 순위가 곧 버리는 순서다 — ① 3순위 11편을 통째로 입학 후로(발췌·※ 전부 여기 있다) → ② 2순위의 발췌(Llama 3 · DeepSeek-V3 · GRPO) → ③ 구현 ⑧ 미니 GPT(구현 ⑥과 상당 부분 겹친다). 1순위 8편과 구현 ⑥·①은 마지막까지 남긴다. Grinsztajn · Double Descent · Latent Diffusion은 갈래를 잇는 다리라 같이 지킨다. 교과서 3권은 구현의 원본이라 버리는 대상이 아니다.

선형대수 개념 6 · 직관 한 문장 + 논문에서 만나는 지점 한 문장

개념	직관	어느 논문에서 만나나
내적	두 벡터가 얼마나 같은 방향인가	Vaswani 2017의 QKᵀ. word2vec의 유사도. CLIP의 이미지-텍스트 정렬. RAG의 검색 점수
행렬곱	행렬은 숫자 표가 아니라 공간을 바꾸는 함수. 곱 = 변환의 합성	층을 쌓는다 = 변환을 합성한다. 멀티헤드가 왜 큰 행렬 하나로 합쳐지는가. FlashAttention은 이 곱을 어떤 순서로 쪼개느냐의 문제
랭크·선형독립	실제로 몇 차원어치 정보가 들어있나	LoRA 2021 — 가중치 갱신이 저랭크라는 가정 하나로 파인튜닝 비용이 1%가 된다. DeepSeek-V3의 MLA도 KV를 저랭크로 누른 것
고유값·고유벡터	변환해도 방향이 안 바뀌는 벡터. 크기만 λ배	공분산행렬의 고유벡터 = 분산이 가장 큰 방향 → PCA(혼공 6장). RoPE 2021의 회전행렬은 고유값이 복소수인 변환 — 크기는 그대로, 각도만 위치만큼
SVD	어떤 행렬이든 회전 → 늘이기 → 회전으로 분해	저랭크 근사 = 압축. LoRA의 A·B 두 행렬이 여기서 나온 발상
그래디언트·야코비안	다변수에서의 기울기 = 가장 가파른 방향	역전파(밑바닥 1의 5장)의 연쇄법칙 = 야코비안 행렬의 곱

3Blue1Brown 「선형대수학의 본질」 15편 — 한국어 공식 더빙 · 3~4시간 · W5에
개념 6개를 각각 두 문장으로 작성노트 없이 여섯 개를 연속으로 말할 수 있다
"내적이 뭐냐"에 구현 ⑥ 경험으로 답하는 연습 — QKᵀ가 내적이고 그게 유사도다수학 질문 하나를 본인 구현으로 되받는다
"랭크가 뭐냐"에 LoRA로 답하는 연습 — 저랭크 가정이 왜 돈이 되는가개념 → 논문 → 실무 비용을 한 줄로 잇는다
손으로 2×2 계산 한 번씩 — 고유값, 행렬곱, 내적, RoPE의 2차원 회전

미적분·최적화 구현 ②(Adam)와 같이 · W5–W6

개념	직관	어디에
연쇄법칙	합성함수의 미분 = 미분의 곱	역전파 그 자체 — 밑바닥 1의 5장에서 이미 짠 것. 층을 거슬러 올라가며 곱해 나간다
편미분·그래디언트	변수 하나씩 본 기울기를 모은 벡터	파라미터 수만큼의 그래디언트를 한 번에 구한다
경사하강법	기울기 반대 방향으로 조금씩 내려간다	모든 학습의 기본. 그래디언트 부스팅(혼공 5장)은 이걸 함수 공간에서 한다
학습률	한 걸음의 크기	크면 발산·진동, 작으면 안 움직인다. 트랜스포머 논문의 warmup 스케줄 · Chinchilla의 코사인 스케줄
SGD · Momentum · Adam	전체 대신 배치 → 관성 추가 → 변수별 학습률 적응	밑바닥 1의 6장. 구현 ②에서 직접 짠다
볼록 vs 비볼록	골짜기가 하나냐 여러 개냐	로지스틱 회귀는 볼록(전역해 보장), 딥러닝은 비볼록. 지역최솟값·안장점이 여기서 나온다 — Double Descent가 그 위에 얹히는 이야기

여섯 개를 한 문장씩 정리"역전파 설명해보세요"에 연쇄법칙으로 시작해서 끝까지 간다
밑바닥 1에서 구현한 역전파 코드의 그래디언트를 PyTorch autograd 결과와 맞춰보기 — 이론이 아니라 이미 짜본 것
SGD · Momentum · RMSProp · Adam 한 줄씩 차이 + 편향 보정의 이유

확률·통계 5 · 갈래 1과 VAE에서 계속 나온다

편향-분산 트레이드오프랜덤포레스트(분산을 줄인다)와 부스팅(편향을 줄인다)의 차이를 구현 ①의 결과로 설명하고, Double Descent(2019)로 그 상식이 깨지는 지점까지 간다
MLE (최대우도추정)cross-entropy가 MLE에서 나온다는 걸 말할 수 있다 — 언어모델 손실이 그것. DPO의 손실도 결국 이것
조건부확률 · 베이즈 정리사전확률 → 관측 → 사후확률의 흐름을 예로 설명. VAE의 인코더가 근사하는 게 사후분포
공분산 · 상관공분산행렬이 PCA로 이어지는 지점까지
KL divergenceVAE의 손실 항, DDPM의 유도, RLHF와 GRPO의 페널티가 전부 같은 물건임을 안다

말로 만들어 두는 것 논문 세 줄 요약을 면접 답변으로

자료 교과서 3권 빼고 전부 무료

자료	어디에	쓰는 곳
교과서 3권 — 구현 ①~⑤⑧의 원본
혼자 공부하는 머신러닝+딥러닝	박해선 · 유튜브 강의 무료	1–6장 · W1–W4 · 고전 ML 전부 여기서. 구현 ①의 원본
밑바닥부터 시작하는 딥러닝 1 · 2	사이토 고키 · 코드는 GitHub	1권 5–8장(역전파·옵티마이저·CNN·ResNet) · 2권 2–8장(word2vec·RNN·seq2seq·어텐션). 구현 ②③④⑤의 원본
Build a Large Language Model (From Scratch)	Sebastian Raschka · 한국어판 있음 · 코드는 GitHub	GPT-2를 처음부터. 구현 ⑧의 원본 — 논문 대신 이 책
논문 읽기
arXiv · ar5iv	—	원문. ar5iv는 같은 논문을 HTML로 — 폰에서 읽기 좋다
Semantic Scholar	AI2	인용 관계로 논문 사이를 옮겨다닐 때. ※ 논문이 지금도 인용되는지 확인할 때도
The Bitter Lesson	Rich Sutton · 2019	W1 · 2쪽 · 논문 목록에는 안 세지만 관점은 여기서 잡는다
The Annotated Transformer	Harvard NLP	2017 논문을 줄 단위로 코드와 붙여놓은 것. 막힌 뒤에 연다
The Illustrated Transformer	Jay Alammar	W14 1회독 전에 그림으로 감 잡기
Spinning Up — PPO	OpenAI	W24 InstructGPT 전에. PPO 논문 대신 이 문서 — 코드가 같이 있다
labml.ai annotated papers	labml	논문 60여 편의 주석 구현. 구현 ⑥⑦ 대조용
구현
PyTorch 공식 튜토리얼	PyTorch	W7 구현 ③ 시작할 때 60분 블리츠만
SHAP	라이브러리 문서	W4 구현 ①에 붙인다. 논문(2017) 대신 문서의 TreeExplainer 설명이면 된다
Neural Networks: Zero to Hero	유튜브 · Karpathy	구현 ⑧ 미니 GPT의 직행 경로. Raschka 책과 같이
nanoGPT	GitHub	300줄짜리 GPT. 구현 ⑧ 다 짠 뒤 대조
수학 · 사전
선형대수학의 본질	유튜브 · 3b1b 한국어 더빙	15편 · W5
Deep Learning Book	Goodfellow · Bengio · Courville	논문에서 모르는 개념 나올 때 찾아보는 사전
The Elements of Statistical Learning	Hastie · Tibshirani · Friedman	혼공머신에서 부족할 때만. PDF 무료. 사전으로만 쓴다