标签：动手实现

• 
  PyTorch 实现 multi-head attention 逐行讲解

  2026-06-02 · ai

  注意力机制动手实现PyTorch

  用 nn.Module 手写一个 multi-head attention，每行标注 shape 变化，讲清 fused QKV 投影、head 维折叠、scaled_dot_product_attention 的三种后端选择，以及和 nn.MultiheadAttention 的对应关系。

• 
  从零手写注意力：60 行 NumPy 跑通自注意力

  2025-10-15 · ai

  注意力机制动手实现NumPy

  抛开框架，用 NumPy 把自注意力、因果掩码、多头重组逐个写出来并和 PyTorch 对拍。每段代码都标注 shape 变化和对应的概念——写完一遍，注意力就从"听说过"变成"见过每一步的形状"。