AI · MM · 369
AI 价值准确率分区
AI Value Accuracy Zones · ai-value-accuracy-zones--jason-droege
解决什么问题
判断一个业务流程"值不值得上 AI"、以及上了之后该期待什么效果时,容易被两种极端叙事误导:要么"AI 什么都能干",要么"AI 还差得远"。需要一个按当前人工流程准确率分区的判断框架。
核心内容
Jason Droege 把是否值得引入 AI 按"人工流程原本的准确率/满意度水平"分成三个区间:
- 低准确率区(原流程只有 10%-20% 准确/受欢迎):AI 收益巨大。只要能做到 50%-70%-80%,就已经是净赚,"you're in the money, you're in the green"。这类场景是 AI 应用的最佳起点。
- 中等准确率区(50%-80% 之间):AI 有价值,但系统必须知道"如何为剩余部分把决策权交还给人",即需要设计明确的人工兜底/上报机制,而不是假装全自动。
- 高准确率区(原流程已 98% 准确):期待 AI 补齐剩下 2% 是不现实的——"not totally there yet"。这类流程不该是 AI 优先落地的目标。
判断标准不是"正确答案"(correct),而是"什么算好"(what does good look like)——因为这些是概率系统,好坏是标准问题,不是对错问题;建立评估标准(evals)本质就是回答"good 是什么样子"。
适用边界
- 该模型基于 Scale AI 与企业客户(医疗、保险理赔等)合作的一线观察,属于经验总结而非严格测算。
- 不适用于绝对正确性要求极高、错误零容忍的场景(如安全关键系统),因为"好"与"对"的区分在这些场景可能不成立。
关键引述 · 原话
"If you have a human process that is 10 or 20% accurate or 10 or 20% liked, AI is awesome... Now, the system then has to know, hey, for the remainder, how do I make sure that humans are involved." — Jason Droege
"If you have a human process, a workflow that is 98% accurate, and you expect an AI system to get you the remaining 2%, not totally there yet." — Jason Droege
关联卡片
- 与 enterprise-ai-poc-to-production-gap--jason-droege 互补:前者判断"该不该上",后者说明"上了之后要多久能落地生产"。
被这些卡引用
出处:Jason Droege (Scale AI, CEO) · 03-podcasts/jason-droege.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2