AI 分析人工验证流
解决什么问题
AI 的第一遍分析永远是一份"看起来完整"的草稿:主题清晰、引语动人、表格能直接进 deck,且所有内容都以同等自信呈现——它不会主动说"P03 我其实不确定"。人类专家会本能地做多遍复查,LLM 默认不会,除非你明确要求。这是作者认为最常见的失败模式。
核心内容
在每次分析的最后固定跑一个 VERIFICATION PASS,让 AI 审计自己的工作,定向检查三类已知错误:
- QUOTE VERIFICATION:逐条确认引语在源数据中逐字存在;标记转述、合并或找不到的引语。
- CONTRADICTION CHECK:对每位参与者,检查不同时间点的陈述是否冲突。定向搜索三种信号:
- 声称的偏好 vs 描述的实际行为不一致
- 表达自信之后又出现 hedging
- 前期的强观点在访谈后段软化
- CONFIDENCE ASSESSMENT:任何基于有限证据的发现打 flag;标注立场不清或混合的参与者。
输出一份 verification summary(flags + 修订建议)。
作者经验:只要推动 LLM 复查自己的标注和解读,它确实会找到错误——有大失误,也有"把某人的话稍稍夸大后塞进不完全吻合的模式里"这类小失真。重大产品决策只应建立在经过第二遍(或第三遍)复核的证据上。
快速上手方式:不用等下一个项目——挑一个你已经用 AI 做完的分析(访谈总结、问卷模式、任何让 AI 找主题/摘引语的东西),直接对它跑这个 verification pass。大概率会发现至少一条不存在的引语、一个被埋掉的矛盾、或一个只基于单条回答的"模式"。这不是失败,是系统在起作用。
适用边界
- 每次多花几分钟;在结论进入 deck、影响大额投资决策之前是必选项而非可选项。
- 修复的是"看起来可以直接分享"的输出——前三种失败模式的产物本身都显得很好,没有验证步骤你无从得知它们错了。
关键引述 · 原话
"Fifteen minutes of verification now or six months of building the wrong thing later—that's the trade." — Caitlin Sullivan
关联卡片
- 是 `ai-analysis-four-failure-modes--caitlin-sullivan` 中失败模式 #4 的修复,也是整个工作流的收口步骤 - 第 1 项检查的完整规则见 `quote-selection-rules-verification--caitlin-sullivan` - 与 `verification-is-the-new-bottleneck--fiona-fung`(验证成为 AI 时代瓶颈)主题呼应
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2