操盘手年鉴The Operators’ Almanac
GR · MM · 408

增长实验纪律

Experimentation Discipline · experimentation-discipline--lauryn-isford
增长 思维模型 过渡期 2023-02 Lauryn Isford ✓ 已核验出处

解决什么问题

Growth 团队过度依赖 A/B 测试,把实验当成默认步骤,导致大量工程/分析时间浪费在验证那些可以通过更严谨的产品流程获得信念的改动上。

核心内容

实验的两个正当理由:

  1. 精确度量影响:需要知道某个改动对指标的具体影响幅度
  2. 风险缓解:改动足够大、足够激进,可能对业务有重大正面或负面影响,需要上线前了解风险

不需要实验的情况:

  • 精确知道 activation 从 6% 变成 7% vs 6.5% 对业务决策没有实质帮助——这种精度只服务于绩效汇报
  • 团队已通过扎实的用户研究、客户访谈、mock 测试建立了足够信念
  • 改动的影响可以直接在 top-line 数据中观察到

替代方案:加强产品开发流程本身的严谨性

  • 花更多时间与客户在一起
  • 更严谨地理解要解决的确切问题
  • 将 mock 放到用户面前观察反应
  • 带着更高信念上线,接受所有用户立刻看到改动

Airtable 实例:Airtable Forms 新增"提交者可请求获取提交副本"功能(需创建账户),团队基于扎实的客户分析和数据工作确认了用户需求,直接上线未做 A/B test。上线后 signup 增长足够大,top-line 即可观察到效果,无需实验验证。

文化要求:

  • 需要自上而下推动,Head of Growth 需要主动鼓励团队不实验
  • 需要建立不以实验数字为唯一绩效依据的文化——用定性反馈、关闭的 deal、未流失的 deal 等其他指标来认可团队贡献
  • 不能成为放弃严谨性的借口

适用边界

  • 适用于团队已有成熟的产品开发流程和客户研究能力的情况
  • 在以实验数字为唯一晋升/绩效衡量标准的组织中,需要先改变评价文化才能落地
  • 作者强调这"不能成为放弃严谨性的借口"——不实验不等于不研究
  • 在 B2B 场景下实验本就因样本量小而困难,更多依赖客户对话、beta 测试、原型验证

关键引述 · 原话

"Generally my advice is to experiment when you need to and to primarily see it as a risk mitigation tactic when you're making dramatic changes and to let the product development process do more work." — Lauryn Isford

关联卡片

与 B2B Growth 场景特别相关——B2B 客户数量少、单客户收入占比高,实验更不适用。

出处Lauryn Isford · 03-podcasts/lauryn-isford.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2