增长实验学习文化

Experimentation Learning Culture · experimentation-learning-culture--ramesh-johari

增长洞察过渡期 2023-11 Ramesh Johari ✓ 已核验出处

解决什么问题

公司声称"test everything"并以实验驱动决策，但实际上实验文化激励数据科学家做增量改动、跑过长实验、回避风险，导致系统性错失大机会。

核心内容

"赢/输"话语体系是有害的。实验本质上是假设驱动的学习过程，不是赢家/输家。用"wins"来衡量数据科学家，等于告诉他们"花在失败实验上的时间是浪费"。
增量偏差：以 win 数量考核时，数据科学家倾向于做安全的、增量的小改动，因为容易拿到 stat sig 的正向结果。
实验过长偏差：为了证明增量改动"真的是 win"，倾向于把实验跑很久，进一步降低迭代速度。
Fat Tails 问题（引用微软论文）：在潜在收益分布有肥尾的业务中，应该尝试更多高风险实验、缩短实验周期、提高迭代速度。但 wins 文化恰恰反其道而行。
学习不是免费的：一位房地产平台的营销数据科学经理私自保留了一个 holdout group（不给对照组展示创新），年底发现这"损失"了几百万美元。但经理的逻辑是："现在你知道我团队的价值了，否则你永远不知道。"——在学习之前，你必须愿意为不确定性付出成本。
Bayesian A/B testing 可以部分解决文化问题：用 prior 把过去的实验学习编码进来，每次实验的结论是"过去认知 + 本次数据"的综合。这样，一个"失败"的实验如果更新了 prior，就创造了可被组织认可的信息价值（positive externality）。
Marketplace 的 whac-a-mole 效应：很多 marketplace 改动本质上是在重新分配注意力和库存，必然创造赢家和输家。短期实验可能显示 flat 甚至负向，因为你只是在对存量做重新分配。判断标准不是短期 win，而是"你创造的赢家是否比输家对业务更重要"。
- 案例：Superhost badge 在 Airbnb 上线初期 A/B 测试 flat，但长期来看成为 Airbnb 不可或缺的体验设计。
- 案例：某公司为新供应方匹配更有经验的买方，新供应方体验改善了，但老买方体验变差了——指标来回波动。

适用边界

适用于所有重度依赖 A/B testing 的公司，尤其是 marketplace 和平台型业务。
作者明确说"不能什么都靠实验解决"——有些长期效果（如 Superhost 对留存的影响）无法在短期实验中测量，此时需要结合领导层的信念做决策（"quantified rather than data-driven"）。
单次实验的 stat sig 不应推翻你对业务的全部既有认知——数据科学是"证据的积累"。

关键引述 · 原话

"Many of the changes that are most consequential create winners and losers. And rolling with those changes is about recognizing whether the winners you've created are more important to your business than the losers you've created in the process." — Servaes Tholen (via Ramesh Johari)

— Ramesh Johari

关联卡片

上游：prediction-vs-causal-inference（因果推断需要实验，但实验文化需要改造）。下游：rating-system-design（whac-a-mole 在评价系统中同样存在）。

出处：Ramesh Johari · 03-podcasts/ramesh-johari.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2