标签：词表

词表大小的权衡：压缩率与嵌入参数的账本
2025-10-05 · ai

tokenizer 词表 scaling

词表每翻一倍压缩率只多挤几个百分点，而嵌入参数和 logits 开销线性增长，本文把三笔账算到具体数字。