标签：数据压缩
-
BPE 分词原理：从字节对合并到 GPT 词表，一次贪心压缩的完整解剖BPE 本质是字典压缩算法，本文从合并规则讲起，讲清 byte-level 设计、词表大小权衡，以及数字切分这类著名后遗症。
-
从压缩理论看 BPE：与 LZ78 的亲缘关系BPE 和 LZ78 都在做"建字典、用短码替换高频子串"，区别在离线全局贪心与在线顺序解析，本文用同一框架看清两者。
BPE 本质是字典压缩算法，本文从合并规则讲起，讲清 byte-level 设计、词表大小权衡，以及数字切分这类著名后遗症。
BPE 和 LZ78 都在做"建字典、用短码替换高频子串"，区别在离线全局贪心与在线顺序解析，本文用同一框架看清两者。