大模型底层原理

目标：大模型底层原理（Transformer、训练、推理）——能在白板上推导、手写 nanoGPT、讲清训练与推理，答得出面试八股，也跑得通训练、LoRA 微调和本地部署。

每课约 15–20 分钟：一个明确收获、一个可运行练习、一组检索测验和 1–2 道面试题。有问题直接在聊天里问老师。

课程

1. 第 1 课 · 缩放点积注意力：亲手写出 GPT 的心脏
   Scaled dot-product self-attention —— Q/K/V、√dk、softmax、因果掩码，以及每一步的张量形状。

速查与词汇

• 速查卡 · 缩放点积注意力
• 词汇表

练习文件

• 0001_attention_solution.py
• 0001_attention_todo.py
• 0001_bonus_torch_check.py

路线图

1. 缩放点积注意力：Q/K/V、√d_k、softmax、因果掩码、形状（NumPy 手写 + 对拍 F.scaled_dot_product_attention） 已上线
2. 多头注意力 + nanoGPT 的批量化：(B, nh, T, hs)、split/transpose/view，手写 CausalSelfAttention 即将推出
3. 位置编码：正弦 PE → RoPE（手写 RoPE，验证相对位置性质） 即将推出
4. Transformer Block：LayerNorm/RMSNorm、Pre-LN 残差、FFN/SwiGLU，参数量与 FLOPs 估算 即将推出
5. Tokenizer（BPE）+ 在 Shakespeare 上训练一个小 GPT（跑通 nanoGPT 的 shakespeare_char） 即将推出
6. 训练循环：交叉熵、AdamW、warmup + cosine LR、梯度裁剪、混合精度（bf16）、显存估算 即将推出
7. 推理 I：采样（temperature / top-k / top-p）+ 手写 KV cache，测加速比 即将推出
8. 推理 II：FlashAttention 原理（tiling、online softmax）、显存与 IO，MQA/GQA 即将推出
9. 量化与本地部署：INT8/INT4（GPTQ/AWQ/GGUF），llama.cpp / vLLM 部署并压测吞吐与延迟 即将推出
10. 微调实战：SFT 数据格式 + LoRA/QLoRA（PEFT）微调一个小模型 即将推出
11. 对齐：RLHF（PPO）目标与流程 → DPO 推导与实现要点 即将推出
12. 进阶与面试总复习：MoE、长上下文（位置插值）、speculative decoding，八股串讲 即将推出