操盘手年鉴The Operators’ Almanac
AI · PB · 483

LLM 驱动证伪研究法

LLM Disconfirmation Research · llm-disconfirmation-research--shaun-clowes
AI 与新工作方式 操作手册 过渡期 2024-12 Shaun Clowes ✓ 已核验出处

解决什么问题

PM 面对海量定性信息(用户访谈、inbound 反馈、竞品资料)时,过去只能靠大脑当"总结机",慢且说不清依据;用上 LLM 后又容易只让它复读自己想听的话。这套 playbook 教你用 LLM 做证伪式研究综合。

核心内容

前置纪律(不做就全废)

  • Right-size 你的研究:Nielsen number——访谈 7-14 人后新信息趋近于零;少于 7 学不够,多于 14 学不到新东西(访谈 2 人=数据不足,22 人=浪费)
  • 不问引导性问题(设计成让客户说出你想听的话,等于研究开始前就把结果炸了)
  • 研究没做对,"任何 LLM 或结构化推理都救不了你——你只是在读你想听的话的摘要版"

核心原则:问 NOT,不问 IS。人们花太多时间找自己希望看到的东西。用法:

  1. 战略证伪:把一批用户访谈记录丢进 ChatGPT/Claude:"这是我的战略。告诉我这些客户说的话里,哪里与我的战略不符?客户在哪里试探我们能力的边缘?哪里他们的想法和我们说的不一样?"
  2. 竞品匹配测试:把竞争对手的公开 positioning 文档贴进去:"客户说的这些话,是不是更符合竞品的叙事而不是我的?"
  3. 竞品战略逆向:让 LLM 从竞品公开文档总结"他们的战略大概率是什么、接下来更可能做什么"——公开文档通常是战略的衍生物,LLM 逆向得"creepy 般地准"
  4. Inbound 反馈聚类(Feedback River 的工具化):Confluent 用 LLM 摄入海量来自客户和一线的请求 → 摘要 → 语义级(非关键词级)找同类 → 输出"哪个想法最热且在升温、哪个在降温",覆盖成百上千条反馈。背景概念:Sachin Rekhi 的 "Feedback River"——聪明 PM 让自己永远泡在用户访谈、直接反馈、NPS、竞品情报的水流里

工具选择:他的经验是直接用原生 LLM(ChatGPT/Claude)就足够好,加少量内部工具;不依赖专门的用户研究 SaaS。

适用边界

  • LLM 不替你做工作,只是把"找缝隙、找机会、找共同线索"从纯脑内搬到工具里
  • 输入垃圾 → 输出垃圾:先满足前置纪律
  • 语义聚类的价值在于持续追踪趋势,一次性跑一遍价值有限

关键引述 · 原话

Shaun Clowes: "Tell me where my strategy does not fit what these customers talked about. It's all about the not."

Shaun Clowes: "Provoke the answers you don't want to hear... try and prove to yourself that you are wrong."

关联卡片

- pm-outside-the-building--shaun-clowes:这是其 AI 时代的执行手段 - ai-value-is-data-management--shaun-clowes:解释为什么"喂足数据"是前提

被这些卡引用

出处Shaun Clowes (Confluent, CPO; ex-Salesforce/MuleSoft, Atlassian) · 03-podcasts/shaun-clowes.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2