操盘手年鉴The Operators’ Almanac
GR · PB · 444

转化提升研究手册

Conversion Lift Studies Playbook · conversion-lift-studies-playbook--how-todays-top-consumer-brands-measure-marketings-impact
增长 操作手册 过渡期 2023-07 Michael Kaminsky & Mike Taylor ✓ 已核验出处

解决什么问题

平台报告显示广告转化很好,但如何证明这些转化是广告带来的(因果),而不是用户本就会发生的行为(相关)?

核心内容

CLS(转化提升测试)是广告测量的“黄金标准”,通过随机对照试验确定增量。 两种主要形式:

  1. 平台内测试:由 Meta 或 Google 等平台分流受众,计算开启/关闭广告的差异。缺点是只能测单平台,且需要“信任平台给自己的作业打分”。
  2. 地理区域测试:对于无法按用户细分的渠道(如户外广告牌),或不想依赖平台时使用。随机选择部分城市/州关闭广告,使用 Meta 开源的 GeoLift 库计算“合成控制”以确定因果效应。
  3. 进阶玩法:Scale test(规模化测试):在特定区域阶梯式增加预算而在其他区域不增加,测试渠道的饱和点和边际递减效应,判断还有多少追加投资的空间。

适用边界

复杂且昂贵。许多较小的数字渠道不支持平台内测试;有些渠道(如 SEO)技术上无法仅对部分用户关闭。增量测试只是时间点快照,容易随时间失效(如文中提到某渠道在4个月内增量从90%暴跌至20%以下)。

关键引述 · 原话

“Usually we’d like to run a classic individual-level randomized experiment, but randomizing which individuals see a billboard ad, as an example, is not possible. However, while we cannot randomly assign individuals, we can randomly choose some cities within which to show billboards and other cities to leave without.” (Netflix)

关联卡片

是 Triangulation of Marketing Measurement 框架的校准基准,用于验证 MMM 模型的准确性。

出处Michael Kaminsky & Mike Taylor · 02-newsletters/how-todays-top-consumer-brands-measure-marketings-impact.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2