标签：代码

• 
  为什么数字和代码是 tokenizer 的重灾区

  2026-03-12 · ai

  tokenizer算术代码

  子词切分把数字的位值结构和代码的缩进结构打碎，本文分析算术能力与代码能力的 token 化障碍及修法。