标签：困惑度

• 
  困惑度的信息论含义：有效分支因子与每 token 比特数

  2025-08-27 · ai

  困惑度信息论评测

  困惑度是交叉熵的指数化：PPL=2^(比特/token)。它把 loss 翻译成"等效在多少个等概率选项里猜"，但跨 tokenizer 比较是无效的——换算公式与常见误用一次说清。