标签：现象分析
-
attention sink 现象：softmax 逼出来的"垃圾桶"token把 softmax 的权重可视化，大量质量永远堆在序列最前面的几个 token 上——即使它们语义上毫无用处。这不是模型的 bug，而是 softmax"权重必须和为 1"的结构性产物。这篇从归一化约束推出 sink 的必然性，讲 StreamingLLM 怎么利用它，以及 ViT 里的对应现象。
把 softmax 的权重可视化，大量质量永远堆在序列最前面的几个 token 上——即使它们语义上毫无用处。这不是模型的 bug，而是 softmax"权重必须和为 1"的结构性产物。这篇从归一化约束推出 sink 的必然性，讲 StreamingLLM 怎么利用它，以及 ViT 里的对应现象。