操盘手年鉴The Operators’ Almanac
AI · MM · 158

模型即产品

Model Is The Product · model-is-the-product--nick-turley
AI 与新工作方式 思维模型 AI 时代 2025-08 Nick Turley ✓ 已核验出处

解决什么问题

AI 产品团队常把"模型"当成产品之下的基础设施,模型归研究、产品归 PM。这个模型回答:当核心体验就是模型输出时,产品工作到底做什么、怎么和研究团队协作。

核心内容

核心论断:模型和产品之间没有区别,模型就是产品,所以必须像迭代产品一样迭代模型

具体机制:

  1. 从开放式发布开始,拿到真实用例分布:人们在写作、编码、找建议、要推荐——然后系统性地按用例改进模型。Discovery 环节和经典产品工作一致:访谈用户、做数据科学、试东西收反馈;只是改进对象从 UI 变成了模型行为。
  2. Vibes 是正经工作:专门的 model behavior 团队负责模型的人格、语气、说话方式。用户不看学术 benchmark,他们"试一下感受 vibe"。
  3. Evals 是产品与研究之间的 lingua franca。写 eval 的本质不神秘:就是"把各用例下的理想行为清晰地写出来"——等于古老的产品智慧"先定义成功",只是换成了对训练最有用的表达形式,用电子表格就能开始。
  4. 真实失败案例是研究团队的 backlog。学术 benchmark 日益饱和,让模型变好的唯一途径是从真实世界拿回"模型没做到用户想要的事"的案例,据此告诉 ML 团队该爬哪座山。而失败案例只能靠发布获得。
  5. 2X 试金石:如果一个功能不会随着模型聪明 2 倍而变好 2 倍,多半不该做这个功能(例外存在,如 SOC 2 合规类工作)。
  6. 历史背景:ChatGPT 之前模型是"硬件式发布"——GPT-3 发完埋头一年做 GPT-4,spec 定死。ChatGPT 打破了这点,让模型可以像软件一样持续小步改进;理想状态是每天甚至每小时发版,难点在不破坏人格、不回退其他能力。

适用边界

  • 适用于模型输出即核心体验的产品(chatbot、copilot、agent);对模型只是后台组件的产品,传统产品方法仍然适用。
  • 2X 试金石作者自己标注了例外:合规、安全等不随模型变聪明而增值的必要工作。

关键引述 · 原话

"There really is no distinction between the model and the product. The model is the product and therefore you need to iterate on it like a product." — Nick Turley

"If we're shipping a feature and it doesn't get 2X better as the model gets 2X smarter, it's probably not a feature we should be shipping." — Nick Turley

关联卡片

- 与 ship-first-to-learn-what-to-polish(同源)互为表里:先发布才能拿到用例分布和失败案例。 - Evals 话题与 Kevin Weil / Mike Krieger 在本播客的观点一致(evals 是 PM 新核心技能)。

出处Nick Turley (OpenAI, Head of ChatGPT) · 03-podcasts/nick-turley.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2