00 范围与证据：先弄清楚需要学什么
0.1 三种证据等级
E1 范围直接证据：MidPreparation/MId.md 和 7feb0729ca81afb71afee0e298f19d63.jpg。口述记录不完整，不能据此排除某个未写出的子点。
E2 课程材料证据：10 月 30 日下载的课程文件、legacy、Assignment1、课堂照片。它们证明课堂材料涉及此内容，不保证每页每句话都会考。
E3 必要原理补充/预习：为解释 E1/E2 补充的推导、背景和尚未提供正式课件的训练/对齐内容。补充有来源，不假装是老师原话。
| 主题 | 证据 | 对应正文 | 复习要求 |
|---|---|---|---|
| Transformer、输入 embedding、system/instruction/input | E1+E2 | 02–04 | 从文本到 logits 全流程，矩阵和每个维度 |
| Attention、KV Cache、Prefix Cache、PagedAttention、vLLM | E1+E2 | 03、06 | 因果性、缓存正确性、显存、命中率定义 |
| ReLU→SwiGLU、GQA | E1+E2 | 04 | 非线性的原因、门控、共享 KV 的代价 |
| MoE、Week7 | E1+E2 | 08 | 稀疏计算、路由、训练稳定性、并行 |
| GPU、三维 tensor、显存、FLOPs、能耗 | E1+E2 | 01、07 | 单位检查、权重/缓存/训练状态分开计算 |
| Pre-training、PPL、模型生命周期 | E1+E2 | 02、09 | 自回归目标、标签移位、评估口径 |
| SFT、PEFT、LoRA | E1，现有课件主要预告 | 10 | 监督目标、低秩更新、训练和推理差异 |
| Distillation、KL | E1，细节属 E3 | 10 | 软目标、温度、KL 方向和梯度 |
| RL、RLHF、RLVR、GRPO | E1，现有课件有概览 | 11 | 从策略梯度到分组相对优势，完整训练流程 |
| ICL、prompt/context engineering、解码 | E2，板书输入流程相关 | 05 | 课件 50 页中所有主要机制均需掌握 |
| RoPE、归一化、残差、多头 | E2，Transformer 必要子项 | 03–04 | Assignment1 的手算/证明就是很好的粒度样例 |
| DeltaNet、MTP、DeepSpeed、Muon | E2 Lab6 | 09、12 | 理解课程实例；具体考试深度未明确 |
| RAG、幻觉、CoV、ToT、grokking/emergence | E2 Lecture04 | 05 | 能解释概念、动机、局限和方法区别 |
| Agent、AI+X、产品榜单、政策/职业介绍 | E2，大纲含更后章节 | 12、15 | 保留索引；期中深度和边界未确认 |
MId.md 中写到 hw2、显存和浮点运算。**当前文件夹只有 Assignment1 的正式题面，未找到 Assignment2 正式题面。**因此不能杜撰 hw2 的具体题型或数值。
0.2 板书怎么读，哪些不能照抄
- 左侧列 Week7 MoE、Week8 Model Training、Week9 Advanced Training：是教学安排提示。右下 RLHF / RLVR—GRPO 与口述记录一致，说明你不能把复习停在已发的 MoE。
- 中间画序列位置 0…i、Q_i、K/V：当前 query 检索历史 KV。因果 attention 通常包括当前位置自身，不是只能看严格左侧。
A=QK^T/√d_k; z=AV省略了 softmax 与 mask。精确写法是S=QK^T/√d_k+M; A=softmax(S); Z=AV。如果把未归一化的 scores 当 A，就换了算法。KV→Prefix Cache→命中数/Tokens：命中计数需要注明单位（token、block、request）与统计区间。命中仍可能需要读取 KV、处理新后缀和 decode，并非请求零算力。FLOPs = kWh：不能当量纲等式。FLOPs 是运算数，FLOP/s 是速度；还需有效吞吐和功率才能估电量。27B←72GB、8B的笔迹可见，但上下文不足，不能认定“27B 必须 72GB”。仅 BF16 权重，27×10^9×2=54×10^9 bytes；其余取决于 KV、运行时与精度。System prompt + Ins + Input→Embedding是概念流程。真实模型先经过 chat template、tokenization 和 ID 查表；角色标签通常也占 token。SFT→PEFT/LoRA与Distillation/KL是关系图，不能误认为 SFT 必须用 LoRA，或蒸馏只能用 soft KL。
另一张课堂黑板 shot/4edf...jpg 可辨认 pre-training→SFT→inference、base、cross entropy 和 Math/Code；它支持生命周期主线。上方模型名及局部奖励示意不够完整，不能用来断言闭源模型的训练配方。
0.3 文件核对的结论与方法
以 SHA-256 比较文件，再比较可提取的正文。已配对的 6 份主课件（Lecture01/02/03/04、GPUs、MoE，5 份 PPTX 加 1 份 PDF）全部逐字节相同。因此不能从文件夹名推断有大规模修改；逐项结果见自动版本表。
Tutorial02 PPTX 的差异位于 notes 中的页码数字；可提取的主幻灯片正文未发现变化。新 notebook 删除了设置 KMP_DUPLICATE_LIB_OK=TRUE 的两行；不构成语言模型数学内容更新。Lab03 旧 notebook 名含 (1)，需要内容哈希比较而不是只按文件名配对。新增可见的 week6 FlashAttention PDF 和 Qwen3-Next notebook 应独立读。
源文件总清单与正文提取见 sources/inventory.json；源文本不是完美的视觉复原，图片公式、组合图和表格要回看原件。本讲义核对了 Assignment1 矩阵、FlashAttention online softmax、roofline、wave quantization 等关键视觉信息。
0.4 学习顺序为什么不是按周机械排列
按照这些依赖学习，才能回答贯穿题，例如：“GQA 为什么既属于架构选择，又影响 vLLM 并发能力？”答案必须经过 KV 形状→字节数→可容纳请求数，而不是只背“高效”。
