PD · IN · 390
小数据决策模型
Small Data Decision Making · small-data-decision-making--teresa-torres
所属簇 用户研究方法论
解决什么问题
在大公司中,产品团队常被质疑"你只和几个人聊了就做决策,这可靠吗?"——团队缺乏回应这种质疑的逻辑框架,也无法解释为什么小样本在产品决策中是合理的。
核心内容
核心论断:产品团队被要求达到的统计显著性标准,是组织中没有任何其他人被要求达到的。
- 当有人问"基于一次访谈做决策怎么可靠?"时,真正发生的是:这个人有一个不同意见,不喜欢你的结论,所以在挑刺
- 现实是:商业中每个人都在用零数据做决策——"一个是好于零的"
为什么小数据在产品中是合理的(不是妥协,而是正确选择):
- 产品团队是在改变行为,不是在寻求新知识——这两个活动的数据要求完全不同
- 产品有持续反馈回路——小实验的结果会被后续更大的反馈回路(包括上线后的生产数据)验证和修正
- 可以从小数据开始,通过交付和生产环境验证逐步获得大规模可靠数据
- 如果等到有大规模数据才开始,什么也发不出去
面对质疑的回应策略:
- 反问对方:"你上周做的决策用了多少客户数据?"——把不公平的标准暴露出来
- 承认这是产品领域特有的困境:每个人对"该建什么"都有意见,所以产品决策天然会被挑战
适用边界
- 这不是反对大样本或量化数据——而是反对"只有大样本才可信"的前提
- 需要团队真正 instrument 产品并测量每个发布的影响,否则你无法校准哪些 bet 确实有风险
- 小数据决策的合理性依赖于"后续有更大反馈回路验证"这一前提——如果你的产品没有测量机制,小数据决策的风险确实更高
关键引述 · 原话
"Every human in business is making decisions with zero data. So I'm going to go with one is better than zero." — Teresa Torres
关联卡片
与 discovery-delivery-parallel 互补:后者解释 discovery 和 delivery 同时进行,本卡解释为什么这个过程中小样本是合理的。
出处:Teresa Torres · 03-podcasts/teresa-torres.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2