标签: PPO

该标签下的全部文章 "PPO".

• PPO 从零讲清：旧概率、新概率与裁剪更新

  15 Sep, 2026

  沿完整 RLHF 链路解释 PPO-Clip，手算正负优势的概率比与裁剪，讲清 old policy、reference、critic 和奖励的不同职责。