标签：多模态
-
二维 RoPE 与多模态位置一维 RoPE 向图像/视频的自然推广是按轴拆分：head dim 切成几段，x、y（视频还有 t）各自用一段做独立旋转，打分内积只依赖 (Δx, Δy) —— 二维平移不变性由结构免费获得。这篇推轴向二维 RoPE 的形式，以及 Qwen2-VL 的 M-RoPE 三段式怎么解决图文混排。
一维 RoPE 向图像/视频的自然推广是按轴拆分：head dim 切成几段，x、y（视频还有 t）各自用一段做独立旋转，打分内积只依赖 (Δx, Δy) —— 二维平移不变性由结构免费获得。这篇推轴向二维 RoPE 的形式，以及 Qwen2-VL 的 M-RoPE 三段式怎么解决图文混排。