15 细节勘误、证据冲突和材料缺口
“最高精度”包括能说清自己知道什么、不知道什么。下列条目不修改原件；用于防止把简写或版本特例当普遍规则。
15.1 已核实的公式/表达问题
| 位置 | 表述/现象 | 复习时的精确处理 |
|---|---|---|
| 期中白板左侧attention | A直接写成QKᵀ/√d | 先scores，再mask+softmax，最后AV |
| 白板右上 | FLOPs=kWh | 补有效吞吐、功率、时间、PUE；不能直接等号 |
| 白板cache命中 | “命中不用消耗算力”的口述简记 | 主要免重复prefill；读取cache/新后缀/decode仍有成本 |
| GPUs Slide48；FlashAttention PDF Page21 | 正文intensity写8/4 FLOP/byte | 同页小表.125/.25才符合op/byte；见07 |
| GPUs Slide53；FlashAttention Page26 | 提取为NT次global读取 | 应结合图理解N/T量级，除号可能为格式/提取丢失；见tiling推导 |
| Tutorial03 Slide10 | do_sample=False与采样参数配合 | 常见关闭采样后temperature/top-p/top-k不参与采样，按配置分支判断 |
| Lecture07 Slide34与Tutorial07 | TopK后权重一份和<1、一份=1 | 未重归一化与重归一化两种方案，不能混算 |
| Lecture07 Slide57概括 | 现代MoE用bias替代辅助loss | 同课Slide46明确仍有互补sequence-wise loss，不能说全无aux |
| Lab6目录/讲解与实际代码 | 引用SimpleDeltaNetMixer/build_layer_types | 本notebook内未找到定义，不能假设干净kernel可直接跑通 |
| Lab6 Cell69 | aux hidden detach | aux目标不塑造backbone；与联合MTP不同 |
| Lab6 Cell69 | 各offset复用next-token answer mask | 要逐目标索引检查，可能把PAD计入更远目标 |
| Lab6 Cells72–74 | 每个draft单独主头验证 | 教学正确性演示，未实现批量验证加速 |
| Lab6 benchmark | 按已知真实答案长度生成 | 这是带长度信息的评价，不是自由EOS生成 |
| 旧Lab06结果notes与目录 | notes说无prefix结果，但已有CSV | 摘要滞后；CSV也缺等长对照/内部指标，仍不能确证cache收益 |
注意：某页“提取文本看起来有错”不等于原图也错。Assignment1矩阵、online softmax、roofline与wave quantization已看原页；其他含图片公式的定位应随原课件检查。
15.2 容易混用的实现约定
- 数学行向量
XW与PyTorch Linear存储weight:[out,in]。 - 作业RoPE输入[B,T,H,d]与课程类[B,H,T,d]。
- adjacent pairing与half-split pairing。
- “mask=True表示屏蔽”不是所有API一致。课程自定义代码及
nn.MultiheadAttention的bool mask通常True表示禁止，PyTorch SDPA的bool attn_mask True表示允许；不能直接把一个API的mask传到另一个。SDPA官方文档、MHA官方文档。按实际安装版本再核对。 - full forward的方形causal mask与带cache的非方形[T_new,T_total] mask。decode时应按绝对位置对齐，不能盲目使用方形上三角。
- temperature=0的工程greedy开关与数学τ>0 softmax。
- 理论byte/element与allocator显存占用；GB与GiB；FLOPs与FLOP/s；功率kW与能量kWh。
- 训练parameter count、可训练parameter count、每token active parameters、activation元素数。
- population std与sample std、clip ε与std epsilon。
- current vs old vs reference、reward vs return vs advantage。
15.3 尚缺的第一手课程材料
| 缺口 | 当前处理 | 补齐后需要做什么 |
|---|---|---|
| Week8/9详细课件与实际课堂顺序 | 09–11按标准原理预习 | 逐页补老师符号、重点、算法变体和例题 |
| Assignment2正式题面 | 仅依据口述补显存/FLOPs题 | 核对具体精度、模型、参数和训练/推理条件 |
| TA 5000/5001站内内容 | 直连和浏览器均空响应，只能参考照片目录 | 可达后只读核对章节、练习及其解析 |
| 完整课堂板书/口述 | 只使用现有两张可辨板书和记录 | 不能重构老师未记录的原话 |
| vLLM视频音轨逐句内容 | 24:27.8视频抽帧识别主题 | 补逐句转写与时间戳，核实抽帧遗漏细节 |
| 尚未逐图细读的课件插图 | 已有文字索引，检查关键数学图 | 按主题回看原图补入图解，不把文本提取当视觉全覆盖 |
因此本包已经提供可独立学习的主线、细节与检验题，但不声称现有所有媒体和TA站内内容都已逐句覆盖。未来材料追加时要更新范围证据，而不是用通用知识掩盖课程证据缺失。
15.4 外部补充的边界
本包外部来源限于原始论文和项目官方文档，主要用于验证算法定义及实现差异。核心参照包括GQA、RoFormer、FlashAttention、PagedAttention、LoRA、QLoRA、蒸馏、InstructGPT、PPO、DeepSeekMath/GRPO、DPO和Gated DeltaNet。相关链接分布在对应章节及下方来源表。
| 主题 | 原始资料 | 使用目的 |
|---|---|---|
| 位置编码 | RoFormer | 旋转与相对位置公式 |
| Norm | RMSNorm | RMS缩放定义与动机 |
| 蒸馏 | Distilling the Knowledge | soft target与温度 |
| 预训练规模 | Chinchilla | compute/data/model取舍 |
| Prefix cache | vLLM设计文档 | 块hash与复用条件，版本相关 |
这些链接不是额外指定的全篇必考阅读列表；考试仍以老师要求为准。
