标签：对齐

• 
  DPO 推导：从 RLHF 目标到闭式解，奖励模型是怎么被消掉的

  2026-09-06 · ai

  DPORLHF对齐

  从带 KL 约束的 RLHF 目标出发，推出最优策略的闭式解，反解奖励函数代入 Bradley-Terry 模型，得到只需偏好对的 DPO 损失。