操盘手年鉴The Operators’ Almanac
AI · MM · 138

类人推理LLM

Reason About LLMs As Humans · reason-about-llms-as-humans--kevin-weil
AI 与新工作方式 思维模型 AI 时代 2025-04 Kevin Weil ✓ 已核验出处

解决什么问题

设计 AI 产品的交互、架构或 prompt 策略时没有先例可循(如"模型思考 20 秒时 UI 该显示什么")。Kevin 称这是他在 OpenAI 学到的最反直觉的东西:把模型当人来推理,往往直接得到可用答案。

核心内容

方法:遇到 AI 产品设计难题时,问"一个处在同样情境的人会怎么做?"用它获得直觉和不同视角(Kevin 强调:不是说答案永远照抄人类行为,而是用等价人类做参照系)。

实战案例

  1. 推理模型的等待 UI:o 系列首次引入"模型要思考 20 秒"的范式。类比人:被问难题的人不会静音死机 20 秒(所以不能只挂个 spinner——annoying),也不会把每个念头都念出来(所以不该裸露全部 chain of thought),而是说"好问题……"然后边想边给简短更新——这正是最终 shipped 的方案。附带发现:deep research(25 分钟)反而好设计,用户会去干别的再回来;10-25 秒才是尴尬区间(等着嫌长、走开嫌短)
  2. DeepSeek 对照迭代:最初只显示思考子标题;DeepSeek 展示全部思考过程后引发新鲜感,但他们判断在 4 亿用户规模下没人想看模型碎碎念 → 折中为每步 1-2 句有信息量的摘要
  3. Ensemble = 头脑风暴:多个模型各自攻同一问题 + 一个模型整合所有输出再给最终答案,效果更好——正如人进会议室 brainstorm,因为别人想得和你不一样
  4. 公司即 ensemble:一家公司本质上是一群"按大学所学和职业经历 fine-tune 过的模型",按不同配置组合,整体输出优于任何个体
  5. Prompt 的人类对应:角色框定有效("你是世界最强品牌营销人,现在回答这个命名问题")——正如给人设置框架/心态,答案会完全不同

适用边界

  • 是获取直觉的启发式(heuristic),不是定律;Kevin 原话是"maybe not always the answer"
  • 用于"该怎么设计"的探索阶段最有效;最终仍需实测验证(DeepSeek 案例正是靠观察修正)

关键引述 · 原话

Kevin Weil: "You can often reason about it the way you would reason about another human and it works."

Kevin Weil: "A company is arguably an ensemble of models that have all been fine-tuned based on what we studied... and you group them together and the output of the ensemble is much better than the output of any one individual."

关联卡片

- chat-universal-interface--kevin-weil:同样从"人际沟通"类比推出 - fine-tuned-model-ensembles--kevin-weil:ensemble 架构的直觉来源

被这些卡引用

出处Kevin Weil (OpenAI, CPO) · 03-podcasts/kevin-weil.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2