标签：复杂度分析
-
KV Cache 原理与复杂度推导：一次"以空间换时间"的完整算账逐 token 解码时重复计算历史 K/V 是主要浪费；推导有无 cache 的计算量差异，并算出 KV cache 的显存占用公式。
-
注意力复杂度 O(n²d) 的账本：计算与显存各自卡在哪里注意力的 n² 到底花在哪些矩阵乘上、显存的 n² 又花在哪里、什么时候注意力会超过 FFN 成为主导开销。这篇把 FLOPs、显存、带宽三笔账分开算清。
逐 token 解码时重复计算历史 K/V 是主要浪费；推导有无 cache 的计算量差异，并算出 KV cache 的显存占用公式。
注意力的 n² 到底花在哪些矩阵乘上、显存的 n² 又花在哪里、什么时候注意力会超过 FFN 成为主导开销。这篇把 FLOPs、显存、带宽三笔账分开算清。