标签：BPE
-
字节级 BPE 的鲁棒性：byte fallback 如何消灭 OOV从字节起步让任何字符串都能被编码，OOV 在机制上消失；本文讲 byte-level 设计、bytes_to_unicode 技巧与剩余的风险面。
-
BPE 分词原理：从字节对合并到 GPT 词表，一次贪心压缩的完整解剖BPE 本质是字典压缩算法，本文从合并规则讲起，讲清 byte-level 设计、词表大小权衡，以及数字切分这类著名后遗症。
从字节起步让任何字符串都能被编码，OOV 在机制上消失；本文讲 byte-level 设计、bytes_to_unicode 技巧与剩余的风险面。
BPE 本质是字典压缩算法，本文从合并规则讲起，讲清 byte-level 设计、词表大小权衡，以及数字切分这类著名后遗症。