STA324 · LLM 期中精读

把每个原理，学到能够重新推导。

这份复习站按内容与知识依赖组织：从深度学习基础走到 Transformer、高效推理、MoE，再到训练、蒸馏与 GRPO。每章尽量交代方法为什么出现、公式怎么来、代码怎样执行，以及结论在哪些条件下成立。

开始阅读 · 110项内容清单 · 60道闭卷练习 · 答案与评分点

章节目录

按问题找内容

• 张量、梯度、交叉熵看不懂 → 深度学习前置
• Token、BPE、embedding、PPL → 分词与语言模型
• Q/K/V、mask、多头、手算 → Transformer
• RoPE、GQA、RMSNorm、SwiGLU → 现代架构
• ICL、幻觉、top-p、投机采样 → 输入控制与解码
• KV、前缀命中、分页、vLLM → 缓存与服务
• 显存、FLOPs、能耗、online softmax → GPU 与 FlashAttention
• 专家选择、router梯度、负载均衡 → MoE 精读
• 标签移位、AdamW、ZeRO、DeltaNet、MTP → 训练工程
• LoRA、QLoRA、KL、软目标 → SFT 与蒸馏
• old/ref/critic、PPO、RLVR、GRPO → 强化学习

怎样使用

先读解释，遮住公式重写并标出张量形状，再做算例；最后用自己的话说明动机、机制、代价和适用条件。遇到陌生前提，回到前一章补齐。

在 iPad 上可用 Safari 打开，并通过“分享 → 添加到主屏幕”保留入口。宽公式、代码与表格可以横向滚动；每页上下都有前后章节链接。也可以用 Safari 的“在页面上查找”定位词语。

材料边界

整理基准为 2026-11-01，期中日期为 11 月 13 日。本站是根据现有课程资料整理的学习讲义，不是老师授权的完整考纲。尚缺的材料、原理补充与勘误见 范围说明 和 勘误与待核实项。

原始课件、课堂照片、实验日志与代码凭据没有随站点上传。网页上的清单用于核对内容；目前不提供跨设备进度同步。

课程材料定位 · 算法代码 · 数值验证