操盘手年鉴The Operators’ Almanac
AI · IN · 165

模型阈值解锁效应

Model Threshold Unlocks · model-threshold-unlocks--eric-simons
AI 与新工作方式 洞察 AI 时代 2025-03 Eric Simons ✓ 已核验出处

解决什么问题

判断一个 AI 产品 idea "现在做还是再等等",以及判断哪些垂直领域的模型能力会进步最快。

核心内容

洞察一:产品可行性由模型能力阈值门控——被否决的 idea 要随新模型重试。 StackBlitz 在 Bolt 上线约一年前就试做过同样的产品,用当时的 frontier model 做了一两周:代码输出不可靠、app 会坏、界面丑,于是搁置。2024 年 5 月拿到 Claude 3.5 Sonnet 预览版后立刻"把项目从架子上拿下来 green light"。Cursor 等整个品类的爆发都始于 Sonnet 上线那一刻——"Sonnet 是第一个翻转等式的模型":从"人写代码、AI 补一段"翻转为"AI 写全部、人偶尔介入"。启示:你的产品失败可能不是 idea 错了,而是差一代模型;建立"定期用新模型重测旧 idea"的机制。

洞察二:模型在"可判定"领域进步最快。 为什么是代码而不是法律?软件是 deterministic 的——写完一跑,能跑就是能跑,不能跑就是不能跑,因此可以每秒生成、验证成千上万条 RL 训练数据(Anthropic 的路线:穷举各种 app 的排列组合做强化学习)。法律是反例:判决取决于社会观念、政治环境、陪审团——非确定性,无法批量制造可靠训练数据。推论:评估任何"AI for X"时,先问 X 的结果能否被机器廉价判定。可判定 → 能力会指数改善;不可判定 → 进步受限。

洞察三:从技术原理而非 hype 推演。 Eric 对"2023 年就有 AGI"的说法始终怀疑(事后看是对的),但漏掉了"哪个垂直会先突破"的推演。正确姿势是"剥开人们说的 blah blah,从技术上拆解什么说得通"——代码赛道说得通,所以所有大厂(Google、OpenAI)都在 all in coding,因为"重写软件世界秩序"是万亿美元级机会。

适用边界

  • 该访谈时点(2025 初)LLM 对千文件级大型既有代码库仍不可靠——Bolt 适合 greenfield 与原型;Eric 预计一年内答案会变。
  • "确定性=进步快"是启发式:形式化可验证的领域(代码、数学)适用,主观审美领域只部分适用。

关键引述 · 原话

"Software is deterministic. When you write code and you hit run, it either runs or it doesn't. And that's the key insight Anthropic really had." — Eric Simons

"We actually tried building Bolt almost exactly a year ago, with the frontier models at the time... It just didn't work." — Eric Simons

关联卡片

- 同源卡片:deep-tech-platform-bet-with-low-burn(平台原语版的同一逻辑)、usage-pricing-over-netflix-model - 同方向卡片:build-for-the-model-six-months-out--boris-cherny、model-maximalism--kevin-weil、code-verifiability-bellwether--simon-willison

出处Eric Simons (StackBlitz/Bolt 创始人 & CEO) · 03-podcasts/eric-simons.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2