标签：NumPy
-
从零手写注意力：60 行 NumPy 跑通自注意力抛开框架，用 NumPy 把自注意力、因果掩码、多头重组逐个写出来并和 PyTorch 对拍。每段代码都标注 shape 变化和对应的概念——写完一遍，注意力就从"听说过"变成"见过每一步的形状"。
抛开框架，用 NumPy 把自注意力、因果掩码、多头重组逐个写出来并和 PyTorch 对拍。每段代码都标注 shape 变化和对应的概念——写完一遍，注意力就从"听说过"变成"见过每一步的形状"。