AI剧场四问法
解决什么问题
PM 向高管展示 AI 产品时,容易靠炫酷 demo 蒙混过关,一旦被追问数据和评估就露怯——这是作者自己"交过学费"的教训。用什么标准区分真正的 AI 采纳和"AI 剧场"(demo theater)?
核心内容
判断一个 AI 产品/功能是否经得起检验,要能清楚回答四个问题:
- 你在解决什么客户问题?
- AI 是否真的比非 AI 方案解决得更好?(不是"能不能用 AI",而是"用 AI 是不是更优")
- 你有什么 ground-truth 数据集和评估体系?
- 模型失败时你做了什么准备?
真正的 AI 采纳发生在团队开始对花哨 demo 产生怀疑、主动追问准确率指标、评估框架和失败模式的那一刻——员工开始追问这些问题,才说明 AI 采纳是真实的而非表演。
适用边界
这是一个"过滤器"而非"如何做 AI 评估"的具体方法论(具体评估体系搭建见同目录下 error-analysis / LLM-judge 相关卡片);它更适合用在向上汇报、跨团队评审场景,提醒决策者别被"demo value"迷惑,而不是替代真正的评估工程工作。
关键引述 · 原话
Peter Yang: "Instead of focusing on shiny demos, look for rigorous data and evaluations."
Peter Yang: "True AI adoption happens when teams become skeptical of flashy demos and demand to see the rigor behind AI products."
关联卡片
- 与 `error-analysis-open-axial-coding--husain-shankar`、`llm-judge-validation-tpr-tnr--husain-shankar` 配套使用:那两张卡回答"评估体系具体怎么搭",本卡回答"汇报时该被追问什么"。 - 属于 `ai-adoption-five-step-playbook--peter-yang` 第五步"高价值任务"的验收标准。
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2