AI · MM · 481
LLM 幻觉双根因诊断
Chatbot Two Failure Roots · chatbot-two-failure-roots--dan-shipper
所属簇 模型技术素养
解决什么问题
诊断"为什么我的 LLM 应用在自信地胡说"——分清是模型倾向问题还是数据缺失问题,才能选对修复手段。
核心内容
模型自信答错通常是两个交织的根因:
- 幻觉倾向:模型像"非常聪明且过度热心的 6 岁小孩"——即使不知道也要给你一个好听的答案。它本质是概率引擎(预测最可能的下一段词),不是查概念库;因此"听起来权威、干净、结构化"与"正确"完全是两回事。
- 数据缺失:知识截止 + 付费墙/私有内容不在训练数据里——模型根本没见过你要它引用的材料,再聪明也答不对。
两者互相放大:越缺数据,幻觉越有空间填补。解法方向一致:在提问时把正确材料喂进上下文(context stuffing/RAG),既补数据又压缩编造空间。作者当时注明 OpenAI 等基础模型公司在积极改善幻觉,但它仍然常见。
判断价值:拿到一个错误输出时,先问"它是没数据,还是有数据也会编?"——前者修检索/语料,后者修 prompt 约束与验证。
适用边界
- 2023 年语境(GPT-3、4k 上下文),幻觉率数字已过时,但双根因诊断框架仍适用于任何"自信错误"输出的归因
- 该文只覆盖问答类应用;行动类 agent 的失败模式更多
关键引述 · 原话
"The model is like a very smart and overeager 6-year-old. It will try its best to give you a good answer even if it doesn't know what it's talking about." — Dan Shipper
关联卡片
- 解法见 `context-stuffing-rag-pattern--dan-shipper` - 与 `ai-analysis-four-failure-modes--caitlin-sullivan`、`bad-vs-sad-quality-framework--fiona-fung` 同属失败模式归因谱系
被这些卡引用
出处:Dan Shipper (Every 联合创始人/CEO) · 02-newsletters/i-built-a-lenny-chatbot-using-gpt-3-heres-how-to-build-your-own.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2