操盘手年鉴The Operators’ Almanac
AI · BM · 389

AI 与人类 PM 能力锚点

AI Vs Human PM Tasks 2024 · ai-vs-human-pm-tasks-2024--mike-taylor
AI 与新工作方式 基准数据 过渡期 2024-07 Mike Taylor & Lenny Rachitsky ✓ 已核验出处

解决什么问题

需要一个具体的锚点数据:截至 2024 年中,"最强模型 + 专业提示工程"在核心 PM 任务上与人类相比到底什么水平。可用来校准"AI 何时能接管 PM 工作"的判断,以及追踪此后的进步幅度。

核心内容

设置:GPT-4o + 专业 prompt engineering,对照 Exponent 面试题库的真人答案,在 X/LinkedIn 上盲测投票(细节见 blind-ab-test 卡)。三项任务 AI 赢两项

  1. 产品策略(YouTube Music 未来一年策略):AI 版得 55%(含平局)胜出;77% 的人猜对了它是 AI 却仍投给它。调整 prompt 修掉"AI 味"后在 LinkedIn 复测,AI 59% vs 人类 38%。主要批评:像功能清单而非真战略——"战略性 vs 战术性"是人类当时仍保有的优势。
  2. 定义关键指标(DoorDash 最重要的指标):AI 版 68% 胜出,若平局计入 AI 则 86%;70% 的人猜对是 AI。识别 AI 的主要线索是答案"过于全面/冗长"。
  3. 估算 ROI / 成功度量(Meta Jobs 功能发布):人类版 58% 险胜 AI 的 42%;只有 65% 的人猜对哪个是 AI。注:人类原答案没有数字,作者补上估算才算公平对局;"LLM 数学差"的印象已因 chain-of-thought 大幅过时。

横向观察:

  • 70%-80% 的投票者能认出哪个是 AI,但知道是 AI 仍然选它——作者称此前从未见过,说明 2024 年人们对 AI 产出的接受度在快速提高。
  • 很多"平局"票(两个都好或都差);按成本逻辑平局即 AI 胜。

适用边界

  • 非科学实验:样本小、公开投票、人工计票;评委是 Lenny 受众中的资深 PM,天然挑剔。
  • 只测了三个任务,且都是"有真人范本的书面产出"型任务,不含跨会议协调、利益相关者对齐等工作。
  • 时效性强:这是 GPT-4o 时代的快照,作者预期模型"每 6 个月翻倍好",数字只会向 AI 倾斜。

关键引述 · 原话

Mike Taylor: "The AI answer beat the human answer in two out of three tasks!"

Mike Taylor: "right now is the worst AI will ever be at any task"

关联卡片

- 方法论见 `blind-ab-test-ai-vs-human--mike-taylor`;prompt 细节见 `pm-task-prompt-template--mike-taylor`。 - 与 `pm-tasks-ai-disruption-map--lenny-rachitsky` 互为印证:Lenny 预测策略/定目标是 AI 冲击最大的 PM 技能,本实测显示 2024 年已接近人类水平。

被这些卡引用

出处Mike Taylor & Lenny Rachitsky · 02-newsletters/how-close-is-ai-to-replacing-product-managers.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验