GR · MM · 364
预测与因果推断辨析
Prediction Vs Causal Inference · prediction-vs-causal-inference--ramesh-johari
所属簇 实验体系与统计方法论
解决什么问题
数据科学团队用机器学习模型做预测(预测谁会被雇佣、预测用户 LTV),然后直接用预测结果做业务决策(排序、发券),但预测准确不等于决策正确。
核心内容
- 预测 ≠ 决策。机器学习模型擅长发现相关性(correlation),但业务决策需要因果推断(causal inference)。
- 经典陷阱——LTV 模型:
- 做法:训练 LTV 模型,把高价值促销发给预测 LTV 最高的用户。
- 问题:这些用户本来就值这么多钱,你发不发券他们都会花。你关心的是增量——"因为我发了券,他们多花了多少?"
- 正确问法:不是"他的绝对 LTV 是多少",而是"因为我做了这个决策,他的 LTV 差值是多少"(differential rather than absolute)。
- 经典陷阱——匹配排序算法:
- 做法:训练模型预测哪个候选人最可能被雇佣,按此排序展示给雇主。
- 问题:模型只是在复现过去的数据模式。
- 正确评估方式:不是"算法 A 能否更好复现历史选择",而是"算法 A 是否比算法 B 带来更多 bookings/revenue/更好的后续评分"。
- 核心原则:无论数据科学家在做什么具体任务,都应该始终在脑中保持一个意识——目标是帮助业务做决策,而决策需要因果思维。
适用边界
- 适用于所有用数据模型驱动业务决策的场景。
- 作者承认有声誉性原因可能让你仍然选择把促销发给高 LTV 用户(不会有人因此怪你),但从决策效果看这不是最优的。
- 核心前提:需要实验(A/B testing)来建立因果推断。但实验本身也有文化陷阱(见 experimentation-learning-culture)。
关键引述 · 原话
"Predicting is about picking up patterns, but making decisions, it's about thinking about these differences." — Ramesh Johari
关联卡片
上游:marketplace-data-science-flywheel(matching 环节的评估需要因果思维)。下游:experimentation-learning-culture(因果推断需要实验,但实验文化本身需要改造)。
出处:Ramesh Johari · 03-podcasts/ramesh-johari.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2