操盘手年鉴The Operators’ Almanac
GR · MM · 364

预测与因果推断辨析

Prediction Vs Causal Inference · prediction-vs-causal-inference--ramesh-johari
增长 思维模型 过渡期 2023-11 Ramesh Johari ✓ 已核验出处

解决什么问题

数据科学团队用机器学习模型做预测(预测谁会被雇佣、预测用户 LTV),然后直接用预测结果做业务决策(排序、发券),但预测准确不等于决策正确。

核心内容

  • 预测 ≠ 决策。机器学习模型擅长发现相关性(correlation),但业务决策需要因果推断(causal inference)。
  • 经典陷阱——LTV 模型:
    • 做法:训练 LTV 模型,把高价值促销发给预测 LTV 最高的用户。
    • 问题:这些用户本来就值这么多钱,你发不发券他们都会花。你关心的是增量——"因为我发了券,他们多花了多少?"
    • 正确问法:不是"他的绝对 LTV 是多少",而是"因为我做了这个决策,他的 LTV 差值是多少"(differential rather than absolute)。
  • 经典陷阱——匹配排序算法:
    • 做法:训练模型预测哪个候选人最可能被雇佣,按此排序展示给雇主。
    • 问题:模型只是在复现过去的数据模式。
    • 正确评估方式:不是"算法 A 能否更好复现历史选择",而是"算法 A 是否比算法 B 带来更多 bookings/revenue/更好的后续评分"。
  • 核心原则:无论数据科学家在做什么具体任务,都应该始终在脑中保持一个意识——目标是帮助业务做决策,而决策需要因果思维。

适用边界

  • 适用于所有用数据模型驱动业务决策的场景。
  • 作者承认有声誉性原因可能让你仍然选择把促销发给高 LTV 用户(不会有人因此怪你),但从决策效果看这不是最优的。
  • 核心前提:需要实验(A/B testing)来建立因果推断。但实验本身也有文化陷阱(见 experimentation-learning-culture)。

关键引述 · 原话

"Predicting is about picking up patterns, but making decisions, it's about thinking about these differences." — Ramesh Johari

关联卡片

上游:marketplace-data-science-flywheel(matching 环节的评估需要因果思维)。下游:experimentation-learning-culture(因果推断需要实验,但实验文化本身需要改造)。

出处Ramesh Johari · 03-podcasts/ramesh-johari.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2