标签：工程实现
-
tiktoken 与 HuggingFace tokenizers 实现对比同为 Rust 实现，tiktoken 把 BPE 做到极致专一，HF tokenizers 做成可插拔管线，本文对比两者的数据结构与边界取舍。
-
自注意力的矩阵化：从两两点积到一次矩阵乘自注意力概念的原始形态是"每个词看所有词"的双重循环，把它写成 QKᵀ 一个矩阵乘是 Transformer 能落地的关键一步。这篇对比两种写法，讲清矩阵化带来的复杂度与硬件红利。