引语幻觉验证规则
解决什么问题
AI 分析中的引语幻觉：完全虚构的"客户原话"，以及把访谈中多处发言缝合成的 "Frankenstein quotes"。它们会顶着真实参与者的名字进 deck，影响产品语言和百万级决策。
核心内容
两步修复，跨模型、跨数据类型通用：
第一步：在分析提示词里定义 QUOTE SELECTION RULES（引语规则）
- 从想法开始处引起，引到完整表达为止
- 包含推理过程，不只是结论
- 保留 hedges 和限定词——它们标示不确定性
- 保留情绪化语言
- 用参与者 ID + 近似时间戳引用，如
[P02 ~14:30] - 禁止把访谈中不同位置的语句合并成一条引语
- 超过 3 句就拆成多条引语
原理：模型不知道 "verbatim" 对你意味着什么（精确到字符？标点可变？填充词算不算？从哪起到哪止？），规则消除了让它自行脑补的歧义空间。作者鼓励在此基础上写下你自己对"好引语"的定义。
第二步：分析完成后跑 QUOTE VERIFICATION（引语验证） 让模型对上一步输出的每条引语：
- 确认在源转录中逐字存在
- 若是接近的转述，标记并给出真实原文
- 找不到则标 NOT FOUND
输出格式：Quote / Status（VERIFIED、PARAPHRASE、NOT FOUND）/ 转述时的真实措辞 / 位置（参与者 ID、时间戳或行号）。
触发陷阱提醒：提示词里出现 "max 100 words"、"punchy 且 ≤12 词的代表性引语"这类长度/风格约束时，几乎必然得到缝合引语。参与者 ID 和时间戳同样可能被伪造——[P03, 14:30] 看着权威，引语本身可能是编的。
适用边界
- 视数据量通常只多花约 5 分钟。
- 作者实测：ChatGPT 一次小规模输出里，多数引语是转述而非逐字原话；20 个访谈的大批量分析风险更高。
- ChatGPT 最易缝合引语，但三大模型都会虚构，此流程对 Claude/ChatGPT/Gemini 均适用。
关键引述 · 原话
"LLMs don't retrieve quotes like a search engine; they generate text that's statistically likely given the context." — Caitlin Sullivan
关联卡片
- 是 `ai-analysis-four-failure-modes--caitlin-sullivan` 中失败模式 #1（invented evidence）的修复 - 最终审计卡 `ai-analysis-verification-pass--caitlin-sullivan` 的第一项检查即是本流程 - 与 Tal Raviv "坚持要精确引语和原始链接"（`ai-summaries-degrade-intuition--tal-raviv`）互补
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2