后训练演化阶梯

Edwin Chen 把模型 post-training 的演进按"人类学习方式"类比成四个递进（非替代关系，后者是对前者的补充而非取代）阶段：

1. SFT（监督微调，supervised fine-tuning）：类比"模仿大师"——直接照抄专家的示范做法。
2. RLHF（基于人类反馈的强化学习）：类比"写 55 篇作文，然后有人告诉你最喜欢哪一篇"——通过偏好排序学习。
3. Rubrics 与 Verifiers（评分标准与校验器）：类比"被打分并获得详细的错误反馈"——不仅告诉你好坏，还告诉你具体哪里错了。
4. RL Environments（强化学习环境）：最新阶段，本质是"搭建一个足够真实的模拟世界"（如一个虚构创业公司，有 Gmail、Slack、Jira、GitHub、完整代码库），把模型扔进去给它一个目标（比如"AWS 宕机了，去解决"），根据是否达成目标（如通过单元测试、写出准确的复盘文档）给奖励。这一步的关键价值在于暴露模型在端到端、长链路任务中的脆弱性——模型可能在单步工具调用、单步指令遵循上表现很强，但一旦被丢进有噪音、工具陌生、步骤之间互相影响（第 1 步的决策影响第 50 步）的真实环境，会出现单点 benchmark 完全测不出的灾难性失败。

角色变化：设计 RL 环境不再是"专家坐着写评分标准"，而是"专家设计一个模拟场景"（例如金融分析师设计一张需要调用 Bloomberg 终端、计算器来算利润表的模拟任务，奖励条件是"某个单元格的数值是否正确"）。

配套原则——trajectory（轨迹）比最终答案更重要：模型即使最终答案对了，也可能是靠 50 次尝试后的偶然命中，或者用一种极其低效、甚至"reward hack"的方式凑巧对上答案。如果训练只看最终结果，会丢失中间过程的大量信息，也无法区分"应该一次做对"还是"应该通过反思逐步修正"这两种不同的期望学习方式。