标签：强化学习

• 
  熵坍塌与熵奖励：RL 微调中策略熵为什么不能掉太快

  2025-10-11 · ai

  强化学习熵奖励RLHF

  RL 微调里 reward 模型只奖励某些回复风格，策略很快坍缩到高奖励窄带，多样性陪葬。熵奖励用 −βH(π) 在目标里拉住探索。本文给熵梯度的推导，分析坍塌的机制，以及调 β 的实际考量。