标签：RLHF
-
DPO 推导：从 RLHF 目标到闭式解，奖励模型是怎么被消掉的从带 KL 约束的 RLHF 目标出发，推出最优策略的闭式解，反解奖励函数代入 Bradley-Terry 模型，得到只需偏好对的 DPO 损失。
-
熵坍塌与熵奖励：RL 微调中策略熵为什么不能掉太快RL 微调里 reward 模型只奖励某些回复风格，策略很快坍缩到高奖励窄带，多样性陪葬。熵奖励用 −βH(π) 在目标里拉住探索。本文给熵梯度的推导，分析坍塌的机制，以及调 β 的实际考量。