16 内容规划与逐项掌握清单
不按日期排课。本页勾选框用于列出学习标准；网页显示不等于跨设备同步的进度记录。每项只有在“脱离讲义能讲明白并处理一个变式”后才勾选；多个项共同构成一个学习单元。
单元一：数学与深度学习语言
- 标量/向量/矩阵/三维tensor，轴的语义与dtype。
- 矩阵乘法、广播、逐元素乘、transpose/view/contiguous。
- 仿射层复合为什么不能替代非线性。
- ReLU/sigmoid/SiLU的形状、导数及饱和/失活。
- likelihood、log likelihood、NLL、交叉熵、熵、KL的关系。
- stable softmax、logsumexp与p-y梯度。
- forward/backprop/optimizer的分工、链式法则与梯度累加。
- train/eval、grad/no_grad、batch/microbatch/step/epoch。
单元二：从文本到概率模型
- Unicode code point、UTF-8 byte、token的区别。
- character/byte/word/subword的取舍。
- BPE训练、merge ranks、非重叠替换与encode/decode。
- 预切分、空格、数字、special tokens。
- embedding查表、one-hot等价、weight tying。
- CBOW/Skip-gram/negative sampling动机和目标。
- 静态embedding和上下文hidden state。
- 概率链式分解、n-gram局限与神经表示共享。
- encoder/decoder/encoder-decoder的mask和目标。
- NLL/PPL推导、加权汇总、tokenizer比较限制。
单元三：Transformer 逐算子
- Q/K/V语义、投影矩阵、每步shape。
- 缩放点积方差推导与softmax梯度。
- causal mask/padding mask/loss mask及全屏蔽行。
- 多头投影/拆头/拼头/WO，固定D的参数量。
- self-attention与cross-attention的数据来源。
- FFN逐位置共享，attention跨位置混合。
- 残差Jacobian与pre/post-norm。
- LayerNorm/RMSNorm公式、归一化轴、数值精度。
- 位置表示的必要性、绝对/相对/RoPE区别。
- RoPE二维展开、正交性、相对位移证明。
- RoPE广播、位置延续、缓存K、配对约定。
- SwiGLU三分支、SiLU与sigmoid gate区别、等参数宽度。
- MHA/GQA/MQA头数、投影、cache及计算差别。
- 完整decoder LM的label shift与训练并行性。
单元四：能力、输入控制和输出选择
- ICL与SFT；示例质量、顺序、长度成本。
- CoT/ToT/self-reflection/CoV的算法步骤与失败点。
- emergence的指标依赖与grokking的训练动态。
- intrinsic/extrinsic、faithfulness/factuality区分。
- RAG、验证、校准与训练干预如何作用。
- instruction/context/input/output indicator。
- prompt与context engineering，chat template与角色token。
- greedy不保证全局最优；beam与长度偏好。
- temperature/top-k/top-p的精确顺序与归一化。
- EOS、预算、思考token和截断。
- speculative sampling接受率与残差分布正确性证明。
- greedy验证、随机验证、MTP草稿三者关系。
单元五：缓存、服务与系统指标
- 因果性为什么保证旧hidden/KV不变。
- 每层cache、为什么主要缓存KV而不是Q/A。
- prefill首token与后续decode的接口流程。
- 缓存前后复杂度，并发/长度/dtype的字节估计。
- prefix精确匹配条件、父前缀hash、非前缀相同片段。
- token/block/request命中率与counter差分。
- PagedAttention逻辑块/物理块/表/分配/回收/共享。
- continuous batching、chunked prefill与延迟取舍。
- TTFT/TPOT/吞吐/p50/p95、思考与可见token。
- 等长对照、预热、共享负载、输出长度混杂。
- 本地generate、服务端vLLM、客户端API三者关系。
单元六：GPU 与高效计算
- host/device、grid/block/thread/warp/SM。
- SIMT/分支分歧、Tensor core与矩阵形状。
- register/shared/cache/HBM的容量与访问代价。
- 2mkn及attention/FFN/训练6PD近似的条件。
- 计算量、速度、功率、能量单位转换。
- weights/KV/activations/grads/optimizer分账。
- FP32/FP16/BF16、混合精度与loss scaling。
- 量化scale/zero/group/outlier及元数据。
- roofline拐点、算术强度、compute/memory bound。
- coalescing/tiling/fusion/recompute/occupancy。
- tile quantization/wave quantization，ceil效应。
- FlashAttention在线m/ℓ/u推导、反向重计算。
单元七：MoE
- 总参数/活跃参数/router成本/显存的不同含义。
- token-choice/expert-choice/global/hash routing。
- 全softmax后截断与选中softmax的数值和梯度。
- TopK索引不光滑但连续门权重能学习。
- 教学Top1归一化为何router梯度退化。
- load balance的f/P定义、导数和topK规范。
- capacity factor、drop与dropless。
- noise/jitter、router FP32、z-loss区别。
- bias均衡与互补sequence辅助项。
- fine-grained/shared专家的组合预算与消融边界。
- dispatch/expert/scatter，真正稀疏与全算后遮罩。
- expert parallel all-to-all、热点与小矩阵。
- 微调分布漂移与dense upcycling。
单元八：训练主线
- 语料获取、HTML正文、清洗、去重、污染排查。
- tokenizer训练/保存、packing、mask/position约定。
- PT/SFT目标差异、assistant-only mask。
- SGD/momentum/Adam bias correction/AdamW解耦。
- scheduler、warmup、clip、按有效token累积。
- DP/TP/PP/EP、ZeRO1/2/3及通信。
- checkpoint/optimizer/RNG/sampler状态与恢复。
- scaling laws、训练compute最优与服务总成本。
- Delta rule关联记忆、遗忘gate与hybrid state。
- MTP偏移目标、detach、多目标mask与验证成本。
- Muon的矩阵更新动机及Lab参数分组（深度待老师确认）。
单元九：SFT、PEFT 与知识迁移
- SFT完整数据到生成评价流程。
- LoRA/adapter/prompt/prefix tuning插入位置。
- LoRA形状、rank、scale、参数量与合并。
- LoRA零增量初始化与首步梯度。
- QLoRA冻结低bit base和高精度adapter的分工。
- soft targets、温度、KL方向、CE等价及梯度。
- hard/sequence distillation与跨tokenizer对齐困难。
单元十：RL 到 GRPO
- state/action/trajectory/reward/return/value/advantage。
- score-function梯度推导与baseline条件。
- RM偏好差分loss、reward hacking与独立验证。
- current/old/ref/critic/reward五种逻辑角色。
- GAE的TD误差与递推直觉。
- PPO ratio、detach、clip两种advantage符号。
- KL方向、sample log ratio与非负k3估计的条件。
- RLHF/RLVR与PPO/GRPO维度区分。
- GRPO组内mean/std、全对全错、G=1退化。
- rollout→评分→优势→forward→policy/KL loss→更新。
- response mask、next-token对齐、长度聚合的目标差异。
- DPO与PPO的关联预习，具体考试边界待确认。
最后的通关任务：从“某GPU能装多大模型、支持多少长度和并发”出发，把架构、缓存、量化、vLLM调度、FLOPs、带宽、训练方式和最终质量指标讲成一条连贯解释。讲不通的连接点，就是下一步该补的内容。
