SEO 实验手册

SEO Experiment Playbook · seo-experiment-playbook--how-to-run-seo-experiments

增长操作手册 AI 前 2020-12 Brian Ta ✓ 已核验出处

解决什么问题

如何针对 SEO（搜索引擎优化）进行科学的 A/B 测试。由于 Google 爬虫的抓取机制，常规的用户级 A/B 测试在此失效，需要一套专门的页面级实验操作手册。

核心内容

建立基础设施：
- 实现 page-level 分流：通过对 canonical URL 取 hash 来分配实验组/对照组（若无现成工具，需自建框架，主流 A/B 工具不支持此功能）。
- 精准流量追踪：需要记录每一次访问及来源的 visitors table。不要依赖 Google Analytics，因其数据是抽样统计的。
设计与上线：
- 一次只运行一个实验（除非流量极大）。
- 实验必须全站铺开，不要仅针对移动端或桌面端，以确保所有版本的 Googlebot 看到一致的体验。
运行与等待：让实验运行 2-4 周，给 Google 足够的时间发现变更并调整权重。SEO 实验比常规 A/B 测试需要更长时间才能看到影响。
数据分析：
- 使用 difference-in-differences（双重差分法）对比实验组与对照组的流量变化，以消除两组页面本身流量不平衡（如 Airbnb 中大城市偏多）带来的误差。
- 必须从数据中剔除 bot traffic（如 Googlebot, Bingbot 等）。
得出结论：实验运行超过两周且结果统计显著时即可结束。若结果正面且显著则全量发布；若中立或一个月后仍无定论，可自行判断是否上线。

适用边界

仅适用于 on-page 变更测试（如 title tags, meta descriptions, image alt tags）。不适用于内部链接（internal linking）测试，因为实验组页面新增的链接会将流量导向实验外的页面，难以归因。仅适合已有数千页面且自然流量是核心驱动力的成熟 SEO 团队。

关键引述 · 原话

"Let the experiment run for 2-4 weeks... SEO experiments take more time than A/B tests to show impact." (Brian Ta)

— Brian Ta

关联卡片

与 seo-success-metric 模型配合使用。

出处：Brian Ta · 02-newsletters/how-to-run-seo-experiments.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 提取 · glm-5.2