AI · PB · 147
盲测 AI 与人类能力法
Blind A/B Test AI Vs Human · blind-ab-test-ai-vs-human--mike-taylor
所属簇 个人效能、判断力与职业
解决什么问题
想知道 AI 到底离替代「你的具体工作任务」有多近。官方模型 benchmark（数学、语言、代码）回答不了这个问题，而网上"ChatGPT 做不了 X"的结论大多不可信。这套方法给出一个可复制的职业任务级评测流程。
核心内容
五步流程（以 PM 任务为例，可迁移到任何职业）：
- 公开征集"AI 做不好"的真实任务：向从业者征集他们尝试让 ChatGPT 做但失败的任务，从中挑对日常工作最有影响的几个（文中选了产品策略、定义 KPI、估算 ROI 三项）。
- 找真人完成的真实样本当对照组：不要用"教你怎么做"的博客文，要用真人实际产出。文中用 Exponent 面试题库的人类答案——每月有数千 PM 用它备考，是够强的人类基准。
- 给 AI 最好的发挥条件：用当时最强模型 + 认真的提示工程（在 OpenAI Playground 自定义 system prompt，避开 ChatGPT 默认系统提示词约 1700 token 的干扰）。这也是 Google 测试 Gemini 1.5 用的思路：测模型上限而非测裸提示。
- 盲测投票：同时贴出两个答案、不透露哪个是 AI，让人投"哪个更好"并猜"哪个是 AI"。盲测的理由同 Coke vs. Pepsi 挑战——一旦看到品牌（知道是 AI），偏好就会被立场扭曲。
- 计分规则：平局算 AI 赢——因为 AI 比人类便宜、快几个数量级，同等质量即是胜利。根据"AI 味"暴露点（过于全面冗长、零错别字、没有冷门引用）迭代 prompt 再测。
适用边界
- 公开投票有从众和群体思维风险（票数倒向一边后会互相影响），作者建议定期做私下盲测才能看到真实态度。
- 公布"哪个是 AI"会造成数据污染——正确答案进入后续模型训练集，评测集就失效了；扩展评测时应只公布汇总结果。
- 在 X 上人工数票太慢且模糊，规模化需要类似 LMSYS chatbot arena 的机制。
- 作者自认"这不是科学实验"，样本小、受众（Lenny 的资深 PM 读者）偏挑剔。
关键引述 · 原话
- Mike Taylor: "a tie is still a win for AI"（因为 AI 成本低几个数量级）
- Mike Taylor: "It's best to run private blind tests periodically to see what people really think"
关联卡片
- 实测结果见 `ai-vs-human-pm-tasks-2024--mike-taylor`；所用 prompt 构造法见 `pm-task-prompt-template--mike-taylor`。 - 与 AI 产品 evals 方法论同源（盲测偏好评估、人类 ground truth 校准），参见 `eval-workflow-four-phases--aman-khan`。
被这些卡引用
出处：Mike Taylor & Lenny Rachitsky · 02-newsletters/how-close-is-ai-to-replacing-product-managers.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2