标签：Rust

• 
  tiktoken 与 HuggingFace tokenizers 实现对比

  2026-06-24 · ai

  tokenizer工程实现Rust

  同为 Rust 实现，tiktoken 把 BPE 做到极致专一，HF tokenizers 做成可插拔管线，本文对比两者的数据结构与边界取舍。