概率一致性接受率
解决什么问题
传统软件是确定性的(要么做到、要么没做到),AI 服务是概率性的(有时给出有用的回答,有时不会)——习惯了确定性思维的产品人该怎么判断"这个 AI 功能到底做得够不够好、能不能上线"?
核心内容
心智模型的根本转变:传统软件是确定性的,LLM 服务是概率性的。诀窍在于让模型响应达到足够的一致性,让用户能大体预期得到一个好结果,而不是追求"每次都完美"。
具体基准:GitHub Copilot 的采纳率(acceptance rate)是 35%——也就是说,开发者会把 35% 的 Copilot 建议真正提交进代码编辑器里。多好的采纳率算"好"取决于具体场景和客户群体,没有统一标准。
判断产品是否够好的实操方法:与其纠结抽象的"准确率"数字,不如直接问客户一个问题——"这让你的工作变得更轻松了吗?"(Is this making your job easier?)
另一个相关观点:建立 AI 服务质量的关键不只是模型本身,后处理过滤器、合同保障、数据隐私、反馈闭环、可观测的人类影响等因素,重要性远超模型质量本身——换句话说,"做 AI 产品和做产品本质上是一回事"(Ryan J. Salva 同一段发言的另一部分)。
适用边界
35% 这个数字是 2024 年年中 GitHub Copilot 的快照,会随模型能力提升而变化,不能直接套用到其他产品类型(采纳率的"好"取决于任务类型和用户预期,创意写作类产品和代码建议类产品的合理采纳率基准完全不同)。
关键引述 · 原话
Ryan J. Salva: "Services built using LLMs, on the other hand, are probabilistic. They may occasionally produce a helpful response, and other times not. The trick is achieving consistency in the model responses so that users can generally expect a good result."
关联卡片
- 与 `precompute-for-ai-speed--rahul-vohra` 同属"AI 产品最后一公里体验"的两个维度。
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验