05 ICL、提示工程与解码
课程锚点：Lecture04 全部50页；week2/3 inference notebook；Lab6 MTP部分。按“控制输入”和“选择输出”两条线理解。
5.1 ICL 为什么有用，又改变了什么
In-context learning把任务示例输入→输出放进上下文，模型根据它们完成新输入。参数通常不变，变的是条件分布p(y|示例,指令,x)。zero-shot没有任务示例，one-shot一个，few-shot少量；不要把shot数理解成梯度步数。
例：good→positive; awful→negative; wonderful→?。模型可从示例学习输出标签、格式和局部任务规律。示例选择、顺序、标签比例、与测试题的相似度都会影响结果。上下文有成本，占token、增加prefill与KV；示例错误、存在注入或与指令冲突也会误导模型。
SFT通过梯度改变权重；ICL通过当前输入改变行为。长上下文不自动等于更强学习：信息检索、位置偏置、噪声和上下文预算仍是限制。
5.2 CoT、ToT、自反思、CoV
CoT展示或诱导中间推理步骤，把一个直接映射拆成多步文本计算。它可能给模型更多计算与中间状态；但中间解释可能不忠实、也可能传播错误。不是“写得越长一定越正确”。
ToT维护多个候选思路，进行扩展、评估、选择/回溯，增加搜索预算。区别在于外部搜索过程，不只是把一条CoT写成有缩进的树。
Self-reflection：初稿→批评→修订。若批评模型与生成模型共享盲点，可能反复确认错误或把正确答案改错。
Chain-of-Verification：初稿→规划可独立检验的问题→分别作答/查证→修订。关键是把验证从原答案的诱导中尽量分离，并使用可靠证据，不是仅追问“你确定吗”。
PRM对中间步骤给分，ORM对最终结果给分；它们既可用于训练也可用于推理时选解，不能仅凭用了PRM就判断模型用了哪一种RL算法。
5.3 Emergence 与 grokking 不要混为一谈
“涌现”常描述随规模增长某任务指标突然提高的现象；严格exact-match或阈值评分可能把连续的底层改进变成跳跃曲线。课件同时给出“涌现”和“mirage”观点，考试应能说明度量方式会影响结论，而不是只站一边背口号。
Grokking：某些算法任务上，模型先拟合训练集，继续训练很久后才出现明显测试泛化。它涉及训练动态、正则化和数据结构；不是与scale-induced emergence完全同义，也不是所有过拟合最终都会自己消失。
5.4 幻觉与缓解
课件按source关系分：intrinsic幻觉与给定来源矛盾；extrinsic是来源无法支持或反驳的新增信息。后者不必然在现实世界为假，但作为基于该来源的回答缺乏根据。faithfulness关注是否忠于来源，factuality关注是否符合真实世界；来源本身可能有误。
成因包括：next-token目标与事实真实性不完全一致；训练噪声/知识冲突；过度依赖关联；检索失败；训练奖励偏向自信回答。课件的“subsequence associations”是一种解释框架，不是已证明涵盖所有幻觉的唯一机制。
RAG：检索→选择/重排→组织证据→带来源生成；可减少知识缺失，但检索错、过时或模型忽略证据时仍会错。验证/工具执行提供独立反馈；校准与合理拒答减少不确定时编造。temperature=0只去掉部分采样随机性，不赋予事实保证。
5.5 Prompt engineering 与 context engineering
Prompt的四个常用部件：instruction、context、input、output indicator。好提示写清任务、约束、受众、证据和输出标准；分隔待处理文本，避免模型把输入内容当指令。
Context engineering进一步决定模型此刻可见的证据、历史、检索结果、工具描述和记忆，涉及选择、排序、裁剪、压缩与更新。两者互相配合：指令明确但证据缺失，仍可能答错。
课件的“打赏”“惩罚”“magic spells”是特定实验/提示习惯，不能当跨所有模型的确定规律。真正的掌握是能设计对照评估：固定任务集，改变一个提示因素，报告准确性和输出约束满足率。
5.6 生成目标与 greedy 的局限
序列分数log p(y|x)=Σ_t log p(y_t|x,y_<t)。逐步argmax不保证联合最优。例如第一步A=.6/B=.4，A后最大条件概率=.5，B后最大=.99；greedy得.3，另一条路径得.396。
Beam search保留K条高分前缀，每步扩展后取前K。搜索空间缩小，但K有限仍非穷举。原始log概率累加偏好短序列，常用长度惩罚；长度归一化会改变目标。beam并不等同于“多次独立随机采样”。
5.7 Temperature、top-k、top-p 的精确操作
τ减小，概率更尖；τ趋于0的极限在最大logit上集中，有并列时还需tie规则。工程参数temperature=0常表示切到greedy分支，不能真的除以0。τ增大趋向更均匀，不会改变logit排序。
top-k：取概率或logit最高的k个，其他设负无穷，然后归一化采样。top-p：排序后取累计概率首次达到p的最小前缀，保留越过阈值的那项，再归一化。不能直接删所有累计概率大于p的项，否则边界项会误删。
例p=[.50,.30,.15,.05]：top-k=2→[.625,.375,0,0]；top-p=.8→前2项；top-p=.81→前3项→[.526316,.315789,.157895,0]。若对logits做temperature后再top-p，候选集合可能变化；先top-k与先top-p也不总可交换。做题必须写清顺序。
EOS是正常词表项，生成后通常停止；max_new_tokens限制新增token，而某些max_length口径含prompt。固定随机种子有助复现，但不同硬件kernel/批处理顺序仍可能产生差异。
5.8 投机解码：动机与流程
大模型逐token decode往往访存受限；小draft模型先便宜地产生γ个候选，再让目标模型一次因果forward并行评估候选各位置的条件概率。它利用验证已知候选可并行这一点，没有消除token间依赖。
随机采样版本，目标p、draft q：x~q，以min(1,p(x)/q(x))接受。第一个拒绝处从r(x)∝max(p(x)-q(x),0)重新抽样，后续候选作废。若全部接受，通常还能从目标额外采一个token。q(x)=0的项不会被draft提出，相关支持集由残差处理。
为什么分布正确？候选被接受为x的概率是min(p(x),q(x))。总拒绝质量R=Σ(q-p)_+=Σ(p-q)_+，拒绝后补偿质量R*r(x)=(p(x)-q(x))_+。相加恰为p(x)。这段证明比只记接受率更重要。
例p=[.6,.4]、q=[.8,.2]。第1类接受率.75、第2类1；无条件接受质量[.6,.2]；总拒绝.2，残差分布[0,1]；最终[.6,.4]。若拒绝后又直接从p抽样，会得到[.72,.28]，分布错误。
greedy版本通常按目标argmax是否与draft相同验证，不是上述随机接受规则。Lab6逐项重新forward的版本用于解释正确性，没实现高效批量验证；不能拿它的速度证明生产框架性能。
简化独立接受率α下，一次目标验证平均产出1+α+...+α^γ个token；成本还包括γ次draft、一次验证、调度及cache管理。接受率低、draft昂贵或目标已被大batch充分利用时，可能不加速。原论文及精确采样框架。
