标签：表示学习
-
注意力机制三问：Q、K、V 各自扮演什么角色从检索类比出发，讲清 Q/K/V 三分法的数学实质：匹配和内容分离、为什么需要三个不同的投影矩阵，以及自注意力与 cross attention 的差别。
-
多头注意力：多头真的学到不同模式吗把 d 维表示切成 h 个子空间并行做注意力，参数没省、FLOPs 没省，多头的设计动机是什么？这篇从低秩分解与表示多样性的角度分析，并整理实证上观察到的头分工。
从检索类比出发，讲清 Q/K/V 三分法的数学实质：匹配和内容分离、为什么需要三个不同的投影矩阵，以及自注意力与 cross attention 的差别。
把 d 维表示切成 h 个子空间并行做注意力，参数没省、FLOPs 没省，多头的设计动机是什么？这篇从低秩分解与表示多样性的角度分析，并整理实证上观察到的头分工。