标签：评估方法

• 
  训练长度与外推长度的鸿沟：长程依赖真的被学到了吗

  2026-03-05 · ai

  长上下文位置编码评估方法

  RoPE 缩放能让 4k 训练的模型在 128k 上困惑度不炸，但远距离检索任务照样崩——外推修的是位置编码的定义域，不是长程依赖的能力。这篇拆开这两件事。