AI护栏四模式
解决什么问题
发现了模型的失败模式之后,具体该往系统提示词/产品里加什么样的规则,才能让 AI 产品"优雅地失败"而不是"灾难性地失败",且不需要换一个更强的底层模型。
核心内容
作者真实案例:一个总结 Slack 长讨论串为"决定和行动项"的 AI 功能,测试时表现良好,直到它开始在没人达成一致的情况下给行动项分配负责人,有时还分配给了错的人。团队意识到问题出在护栏缺失,不是模型能力不够,于是只在系统提示词里加了一句话:
"Only assign an owner if someone explicitly volunteers or is directly asked and confirms. Otherwise, surface themes and ask the user what to do next."
这一条约束几乎立刻消除了最大的信任问题。
四种覆盖大多数真实场景的护栏模式:
- 模型看起来不确定时 → 让它问而不是猜:在系统/任务提示词里加一句明确指令,例如"如果你不确定,先问一个澄清性问题,而不是做假设。"小问题("你想要摘要还是关键决定?"、"应该聚焦 onboarding 还是支付?")往往能防止下游更大的错误。
- 上下文太长时 → 把选择权交给用户:不要让模型悄悄丢弃信息,而是问"这段讨论很长——应该聚焦前半段、后半段,还是只看行动项?"这样做既快又诚实,还能避免幻觉。
- 模型编造结构时 → 让它明说:如果输入里根本没有决定/负责人/明确结果,让模型回复"我在这里没看到任何决定——你想要主题总结吗?"透明本身就是在建立信任。
- 输出忽高忽低摇摆不定时 → 加一点轻量结构:如果同一个请求每次产生截然不同的答案,用一个简单格式稳住它,例如"列出:讨论了什么、决定了什么、需要跟进什么。"这样能减少方差,同时不会让产品显得僵硬。
核心原则:这些护栏都不会让模型变得"更聪明",它们只是保护用户不受模型短板的影响,并防止误解——提前决定好系统该在哪里放慢速度、寻求帮助、收窄范围,或者直接说"我不知道"。
适用边界
- 护栏设计的前提是已经通过
weekly-failure-mode-rituals找到了具体的失败模式,不是凭空猜测该加什么规则 - 案例中"只加一行系统提示词"就解决了问题,说明很多信任问题的根源是缺一条明确约束,而不是模型能力不足——但这不代表所有问题都能靠一行 prompt 解决
- 护栏是"失败时怎么办"的设计,不能替代前两步(失败模式绘制、MVQ 定义)
关键引述 · 原话
"None of these makes the model more 'intelligent.' Good guardrails simply protect the user from the model's shortcomings and prevent misunderstandings." — Dr. Marily Nika
关联卡片
是 `ai-product-sense-three-step-process--marily-nika` 第三步的具体展开,直接消费 `weekly-failure-mode-rituals--marily-nika` 仪式四发现的问题
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2