操盘手年鉴The Operators’ Almanac
AI · IN · 221

提示词替代后训练

Prompting Replaces Post Training · prompting-replaces-post-training--robby-stein
AI 与新工作方式 洞察 AI 时代 2025-10 Robby Stein ✓ 已核验出处

解决什么问题

决定让模型具备某种定制能力时,选哪条路:写提示词、做后训练/微调,还是等模型进步。这是 Robby 被问"做 AI 产品学到的、别人不真正理解的事"时给出的第一答案,且注明是"最近一两周内"才成立的观察。

核心内容

  1. 旧世界(仅仅几个月前):要让模型做复杂的事,要么念"咒语"式 prompt hack("假装你是个教练……"),要么走技术路线——post-training:喂数据、更新权重,才能让它学会"遇到问题去 ping 这个 API"这类行为。当时把 API 文档直接丢给模型,它"完全不知道拿它怎么办"。
  2. 新世界:直接用自然语言写一份"工作交接单"就够了——"我是个新创公司,这是我们的内部数据,这是 API 的 schema 和 URL,这是什么时候该用它。另外遇到这类问题时务必做对。"模型已经被训练到能把这种指令转译成行为:对标注"务必做对"的问题类型自动分配更多 reasoning/thinking 预算;按说明用工具或代码执行去连接被告知的 API。
  3. 含义:获得最复杂的行为越来越不需要重型微调——这大幅降低了构建门槛,"将开启对这些模型访问的民主化"。做 AI 产品的默认路径应当先穷尽"把话说清楚",再考虑动权重。
  4. 佐证心智:与"把 AI 界面做得像人"的方向一致——像给一位新入职工程师写 onboarding 文档那样对模型写作,正在成为主要的"编程"方式。

适用边界

  • 明确的时效性判断(2025 年秋"最近一两周"的观察),针对 frontier 模型;小模型/本地模型未必具备这种指令跟随深度。
  • "不需要微调"针对行为定制;注入大规模私有知识、极端延迟/成本约束下,微调和蒸馏仍有位置(对话未展开,属本卡边界外)。

关键引述 · 原话

"To get the most sophisticated outcomes increasingly, I don't think you need to do a lot of this heavy duty fine-tuning." — Robby Stein

"The model's been now encoded to be able to say, 'Okay, I'm going to use more reasoning or thinking budget for that kind of a question.'" — Robby Stein

关联卡片

- 与 Claire Vo 的"Yappers API"(agent-aliveness-formula--claire-vo)相互印证:自然语言正在成为最高带宽、最低门槛的模型接口。

被这些卡引用

出处Robby Stein (Google Search 产品 VP,前 Instagram 产品负责人) · 03-podcasts/robby-stein.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2