标签：注意力
-
packing 与文档边界：序列拼接的效率收益与注意力隔离问题变长文档直接训会浪费大量算力在 padding 上，packing 把多文档拼进一个定长窗口补满利用率。但拼接引入了跨文档注意力污染、位置编码重置、边界 token 预测三个问题。这篇给效率账本和三种边界处理方案的对比。
变长文档直接训会浪费大量算力在 padding 上，packing 把多文档拼进一个定长窗口补满利用率。但拼接引入了跨文档注意力污染、位置编码重置、边界 token 预测三个问题。这篇给效率账本和三种边界处理方案的对比。