标签：tokenizer
-
-
WordPiece 与 SentencePiece 的差异：似然合并准则与语言无关分词框架WordPiece 改的是合并打分公式，SentencePiece 改的是分词系统的组织方式，两者经常被混为一谈，本文拆开讲。
-
tiktoken 与 HuggingFace tokenizers 实现对比同为 Rust 实现，tiktoken 把 BPE 做到极致专一，HF tokenizers 做成可插拔管线，本文对比两者的数据结构与边界取舍。
-
tokenizer 的安全问题：glitch token 的产生某些 token 在训练语料里几乎不出现，它的 embedding 基本停在初始化状态，一旦在推理时被拼出来就会产生不可预测的行为。这篇从梯度来源推导 glitch token 的成因，并给出排查方法。
-
字节级 BPE 的鲁棒性：byte fallback 如何消灭 OOV从字节起步让任何字符串都能被编码，OOV 在机制上消失；本文讲 byte-level 设计、bytes_to_unicode 技巧与剩余的风险面。
-
-
Unigram LM 分词：从全词表做减法的 EM 过程与 BPE 从空做加法相反，Unigram 从超大候选词表出发，用 EM 训练概率模型再逐个剔除 piece，编码走 Viterbi 最优切分。
-
BPE 分词原理：从字节对合并到 GPT 词表，一次贪心压缩的完整解剖BPE 本质是字典压缩算法，本文从合并规则讲起，讲清 byte-level 设计、词表大小权衡，以及数字切分这类著名后遗症。
-
从压缩理论看 BPE：与 LZ78 的亲缘关系BPE 和 LZ78 都在做"建字典、用短码替换高频子串"，区别在离线全局贪心与在线顺序解析，本文用同一框架看清两者。
-
中文与多语言词表的均衡：一个字占几个 token 的成本问题中英 token 成本差两三倍是词表偏置的直接后果，本文量化语言间压缩率差异及其对成本、上下文、训练充分性的连锁影响。
-
-
特殊 token 的设计：BOS/EOS/PAD 如何影响生成几个不携带文本语义的 id 却控制着生成的起点与终点，本文讲 BOS/EOS/PAD 的设计意图、训练交互与常见事故。