AI · IN · 221
提示词替代后训练
Prompting Replaces Post Training · prompting-replaces-post-training--robby-stein
所属簇 Prompt 与上下文工程
解决什么问题
决定让模型具备某种定制能力时,选哪条路:写提示词、做后训练/微调,还是等模型进步。这是 Robby 被问"做 AI 产品学到的、别人不真正理解的事"时给出的第一答案,且注明是"最近一两周内"才成立的观察。
核心内容
- 旧世界(仅仅几个月前):要让模型做复杂的事,要么念"咒语"式 prompt hack("假装你是个教练……"),要么走技术路线——post-training:喂数据、更新权重,才能让它学会"遇到问题去 ping 这个 API"这类行为。当时把 API 文档直接丢给模型,它"完全不知道拿它怎么办"。
- 新世界:直接用自然语言写一份"工作交接单"就够了——"我是个新创公司,这是我们的内部数据,这是 API 的 schema 和 URL,这是什么时候该用它。另外遇到这类问题时务必做对。"模型已经被训练到能把这种指令转译成行为:对标注"务必做对"的问题类型自动分配更多 reasoning/thinking 预算;按说明用工具或代码执行去连接被告知的 API。
- 含义:获得最复杂的行为越来越不需要重型微调——这大幅降低了构建门槛,"将开启对这些模型访问的民主化"。做 AI 产品的默认路径应当先穷尽"把话说清楚",再考虑动权重。
- 佐证心智:与"把 AI 界面做得像人"的方向一致——像给一位新入职工程师写 onboarding 文档那样对模型写作,正在成为主要的"编程"方式。
适用边界
- 明确的时效性判断(2025 年秋"最近一两周"的观察),针对 frontier 模型;小模型/本地模型未必具备这种指令跟随深度。
- "不需要微调"针对行为定制;注入大规模私有知识、极端延迟/成本约束下,微调和蒸馏仍有位置(对话未展开,属本卡边界外)。
关键引述 · 原话
"To get the most sophisticated outcomes increasingly, I don't think you need to do a lot of this heavy duty fine-tuning." — Robby Stein
"The model's been now encoded to be able to say, 'Okay, I'm going to use more reasoning or thinking budget for that kind of a question.'" — Robby Stein
关联卡片
- 与 Claire Vo 的"Yappers API"(agent-aliveness-formula--claire-vo)相互印证:自然语言正在成为最高带宽、最低门槛的模型接口。
被这些卡引用
出处:Robby Stein (Google Search 产品 VP,前 Instagram 产品负责人) · 03-podcasts/robby-stein.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2