标签：长上下文
-
-
位置编码与注意力分辨率的极限位置编码给每个距离分配的「区分度」是有预算的：RoPE 的相位导数随频率线性衰减，超出一定距离后相邻距离在 logits 上不可分辨。这篇算这笔分辨率账。
-
上下文长度课程：从 4k 到 128k 的分阶段延长策略主流长上下文模型几乎没人从第一步就按 128k 训练——注意力成本随长度平方涨、长文数据稀缺、位置编码外推失效是三座大山。这篇给三阶段延长策略算账：各阶段该训多少 token、数据从哪来、为什么结尾要做长度退火。
-
训练长度与外推长度的鸿沟：长程依赖真的被学到了吗RoPE 缩放能让 4k 训练的模型在 128k 上困惑度不炸，但远距离检索任务照样崩——外推修的是位置编码的定义域，不是长程依赖的能力。这篇拆开这两件事。
-
位置编码选型决策表：从约束到方案的推导路径没有最好的位置编码，只有约束下的推导：从头训还是微调、要多长、什么任务、KV cache 预算多少。这篇把前面 19 篇的结论压成一棵决策树和一张表。