标签：Unigram

Unigram LM 分词：从全词表做减法的 EM 过程
2025-11-30 · ai

tokenizer Unigram EM算法

与 BPE 从空做加法相反，Unigram 从超大候选词表出发，用 EM 训练概率模型再逐个剔除 piece，编码走 Viterbi 最优切分。