全部文章
凡落于此的手记，按年月陈列，供慢慢翻阅。
GRPO 入门：不用 critic，怎样用一组答案计算优势
从同一道题采样四个答案开始，手算组内奖励标准化与 token 裁剪，解释 GRPO 的完整流程、零优势组和 KL 正则。
PPO 从零讲清：旧概率、新概率与裁剪更新
沿完整 RLHF 链路解释 PPO-Clip，手算正负优势的概率比与裁剪，讲清 old policy、reference、critic 和奖励的不同职责。
Actor-Critic 与 GAE：谁来判断这一步比预期好多少
区分 actor、critic、reward model 和 reference，借三步生成例子手算 TD 误差与 GAE，解释策略与价值函数怎样协同训练。
REINFORCE 入门：奖励怎样变成模型的梯度
用一个只有两个候选答案的模型，手算 REINFORCE 的概率、损失、梯度和 SGD 更新，理解基线、方差与完整在线训练流程。