AI 分析四种失效模式

作者基于 2000+ 小时 AI 客户研究工作流测试，总结出四种失败模式，各有对应修复：

1. Invented evidence（编造证据）：完全虚构的引语（三大模型都会），以及把多处发言缝合成的 "Frankenstein quotes"（ChatGPT 尤甚）。往往由提示词本身触发——"max 100 words"、"punchy 且 ≤12 词的代表性引语"这类要求几乎必然导致缝合。根因：LLM 是生成而非检索，它预测"引语该长什么样"。→ 修复：quote selection rules + 引语验证（见同源卡片）。

2. False or generic insights（伪/泛泛洞察）："价格是决策因素""用户重视可靠性"这类放到任何同品类研究都成立的主题。根因：LLM 是找共识的模式机器，会浮出最显眼的模式；训练先验会加权（见过几千份 churn 分析都说价格，就偏向价格）；你提示词里提过 "pricing issues"，大量回答就会被编码成价格相关。→ 修复：结构化 context loading。

3. "Signal" that doesn't guide decisions（不能指导决策的信号）："22 位受访者提到想要屏幕"是计数，不是决策清晰度——它分不清"屏幕能直接解决"和"其实需要别的功能"。→ 修复：few-shot calibration 量表。

4. Contradictory insights（矛盾洞察）：第一遍分析被当成终稿，没人检查参与者前后矛盾（嘴上说强烈支持、行为暗示相反）。根因：人类专家会本能地做多遍复查，LLM 被训练成产出连贯有用的回答、默认不标注自身不确定性。→ 修复：最终 verification pass。

背景认知：访谈数据混乱（跑题、自我矛盾、第 8 分钟说的话在第 35 分钟被完全重构），LLM 倾向于过快强加干净结构；问卷 CSV 看似结构化实则不然（列头含义不明、内部标签混在客户原声旁、稀疏回答如 "It wasn't for me" 有四种完全不同的产品含义）。