Sean Ellis 测试
解决什么问题
早期产品无法判断是否有人真正在乎你的产品,retention cohort 需要数月才能看出趋势,团队对"何时开始猛推增长"缺乏共识。
核心内容
核心问题:"How would you feel if you could no longer use this product?"(如果不能再使用这个产品,你会感觉如何?)
选项:
- Very disappointed(非常失望)
- Somewhat disappointed(有点失望)
- Not disappointed(不失望)
- N/A — I already stopped using it(已停止使用)
基准阈值:40% 的用户选择"非常失望" → 视为达到 product market fit 的先行指标。这个数字不是硬性规则,而是 Sean Ellis 在多家 YC 初创公司中观察到的规律性模式。阈值可根据文化调整:巴西(更乐观)用 50%,匈牙利(更悲观)30% 即可。
调研条件:
- 随机抽样已经真正使用过产品的用户(非仅注册)
- 用户至少使用过 2 次以上
- 最近 1-2 周内使用过(尚未流失)
- 最低 30 份有效回应
- 如果测试新的 onboarding 效果,只调研走过新流程的用户
定位:这是 PMF 的先行指标(leading indicator),retention cohort 是滞后指标(lagging indicator)。测试的价值在于第一天就能获得信号,不需要完善的 analytics 系统。
达到 40% 之后做什么:不代表可以立刻猛推增长。下一步是深挖"非常失望"的用户——他们是谁、怎么用产品、之前用什么、解决什么问题。这些洞察是构建增长飞轮的原料。
适用边界
- 不适用:一次性产品(如电影、workshop)——"如果不能再参加你刚参加过的 workshop"这类问题无意义,改用 NPS。
- 假阳性风险:高切换成本会推高分数。webs.com 得到 90% "非常失望",但产品本身在商品化品类中并不突出——原因是用户已投入大量时间建站、熟悉 CMS,不想迁移。Eventbrite 同理,活动组织者已将活动分发出去,切换成本极高。分数是 switching cost 与 product utility 的混合函数。
- 样本量警告:10 个人里 4 个"非常失望"可以给你有用的洞察,但不足以作为推向市场的依据。
- 阈值非绝对:37% vs 41% 没有本质区别,真正的作用是给团队一个聚焦目标——"达到这个数字之前不激进投入增长"。
关键引述 · 原话
"Once you got a high enough percentage of users saying they'd be very disappointed, most of those products did pretty well. If you felt too low, those products tended to suffer." — Sean Ellis
关联卡片
- 后续配合 must-have-user-investigation playbook 深挖洞察 - 是 north-star-metric-selection 的输入前提 - 是 growth-execution-sequence 的启动条件
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2