后训练无限任务无数据墙

Post Training Infinite Tasks No Data Wall · post-training-infinite-tasks-no-data-wall--karina-nguyen

解决什么问题

"模型会因为数据耗尽而停止变强"是一个广泛流传的担忧。这个模型解释为什么这个担忧主要只适用于预训练阶段,而后训练阶段有一条完全不同的扩展逻辑,并指出真正的瓶颈其实转移到了别处。

核心内容

预训练阶段的"数据墙"担忧是真实但局限的:超大规模预训练模型本质上是在做"压缩算法"——学习如何压缩海量人类知识、建模世界(下一个词预测本质是在建模人类行为)。互联网知识总量有限,这个阶段确实存在数据见顶的问题。
但后训练(post-training)阶段不存在同样的"墙":后训练的本质是通过强化学习,针对"无穷多种具体任务"(如何搜索网页、如何使用电脑、如何写作……)持续教模型新技能。任务的数量理论上是无限的,只要能设计出新任务、新的成功衡量标准,就能继续推高模型能力,这也是作者判断"模型会朝向超级智能演进"的依据之一。
真正的瓶颈已经从"有没有数据"转移到"有没有 evals":GPQA(博士级别问答测评)这类前沿 eval 已经被推到 60-70% 的准确率(接近博士水平本身的表现),多个基准正在被迅速"打饱和"——限制模型进一步提升的,是我们能不能设计出更多、更前沿的衡量标准,而不是有没有更多原始数据。
合成数据在其中的具体角色:一部分任务可以由模型自己合成构造(这是一个活跃研究方向);产品实际使用中产生的用户反馈数据也会被用于持续训练;但一些高难领域(特定化学、生物知识)仍然离不开真人专家数据,合成数据无法完全替代。对于产品导向的快速迭代场景(如作者参与的 Canvas、Tasks),团队的做法是"主要依赖合成数据训练,因为更具规模化优势、成本更低"。

适用边界

这个模型是 2025 年初的判断,基于当时的 o1 系列范式;后训练本身能扩展到什么程度,仍取决于 RL 环境设计、reward 设计等尚在快速演化的技术能否跟上。
"post-training 不存在数据墙"这个判断,建立在"能持续设计出有效新任务和新 eval"的前提上——如果 eval 设计本身跟不上,增益同样会放缓,这也是作者强调"瓶颈在 evals"的原因。

关键引述 · 原话

Karina Nguyen: "The scaling in post-training itself is not hitting the wall... because we went from raw data sets from pre-trained models to infinite amount of tasks that you can teach the model in the post-training world via reinforcement learning."

Karina Nguyen: "I think the bottleneck is actually in evaluations... it's literally hitting the wall in like evals."

— Karina Nguyen

关联卡片

Eval 即 PRD 与营销

- 与 `eval-as-prd-and-marketing--brendan-foody` 呼应:两位受访者独立得出"瓶颈已转移到 eval 设计能力"这一共识。

出处：Karina Nguyen (OpenAI 研究员,前 Anthropic) · 03-podcasts/karina-nguyen.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2