标签：SentencePiece

• 
  WordPiece 与 SentencePiece 的差异：似然合并准则与语言无关分词框架

  2026-06-29 · ai

  tokenizerWordPieceSentencePiece

  WordPiece 改的是合并打分公式，SentencePiece 改的是分词系统的组织方式，两者经常被混为一谈，本文拆开讲。