标签：中文

• 
  中文与多语言词表的均衡：一个字占几个 token 的成本问题

  2025-10-09 · ai

  tokenizer多语言中文

  中英 token 成本差两三倍是词表偏置的直接后果，本文量化语言间压缩率差异及其对成本、上下文、训练充分性的连锁影响。