每周失败模式仪式
解决什么问题
具体怎么"主动"把模型推向失败模式,而不是坐等用户上线后来教你。作者每周三早上第一个会议前花不到 15 分钟做这套仪式,持续对自己正在做的 AI 工作流有效。
核心内容
仪式一:让模型做明显错误的事(2分钟)——目标:理解模型"给混乱强加结构"的倾向 拿每个 PM 每天都会遇到的混乱、半成型、情绪不一致的数据(Slack 讨论串、会议笔记、Jira 评论),让模型从中提取"战略决策"。这是生成式模型最危险的模式暴露的地方:面对混乱时,它们会自信地编造结构。具体操作:
- 把同一段混乱上下文(比如乱七八糟的 Slack 讨论)喂给模型,让它做一件容易引发幻觉的事(比如"基于这段讨论起草 Q4 路线图")——通常会得到编造的功能和错误的负责人
- 加一句话说明期望行为再跑一次(比如"只包含讨论中明确提到的条目,缺信息就说'信息不足'")
- 并排比较两次输出(自信的幻觉 vs. 谦逊的清晰)——对比这两种输出正是 AI product sense 提升最快的地方。关注:变化了什么?哪个护栏修复了幻觉?模型需要什么才能可靠地运作(更明确的约束?更好的上下文?更窄的范围)?
- 把发现的差距记录下来——这会变成一条产品需求
仪式二:让模型做模糊的事(3分钟)——目标:理解模型的"语义脆弱性" 模糊对概率系统来说是"氪石"——模型不完全理解用户意图时会用自己最好的猜测去填空(也就是幻觉、烂点子)。例如把一份 PRD 丢进 NotebookLM,让它"给 VP of Product 总结这份 PRD"。观察:是否过度总结?是否揪住一个无关细节?是否忽略了关键限定条件?是否假设错了受众?这些失败暴露的是模型"技术上理解了你的字面意思,但完全没抓住你的意图"的地方——语义脆弱性。发现的差距应该转化成让用户明确目标("给谁总结?")、给模型更多上下文,或收窄任务范围这类产品设计工作。
仪式三:让模型做意外困难的事(3分钟)——目标:找到模型第一个失败点 挑一个对人类 PM 来说很简单、但会考验模型推理/上下文/判断力的任务(例如"把这40个 bug 归类主题并提出路线图",或"总结这份 PRD 并给管理层标出风险")。不是要穷举测试模型,而是要找到它第一个开始出错的地方——那正是产品需要组织结构、设计护栏、收窄输入或把任务拆成更小步骤的地方。注意:这一步找到的只是"期望行为",还不是最终解法,护栏设计是后续步骤。
仪式四:在系统提示词里加入明确的失败应对(3分钟)——衔接护栏设计 把同一个真实的混乱输入(会议记录、Slack 讨论、支持日志)反复喂给同一个 AI 对话,问同样的问题(比如"前五个决定是什么?"),并排比较多次回答:每次挑的"决定"是否不同?是否编造了文本里没有的决定?是否反复漏掉同一个重要决定?问自己:如果用户看到这些输出里最差的一个版本,他们还会信任这个产品吗?根据观察加一条护栏。
适用边界
- 每个仪式都控制在几分钟内完成,设计目的就是低成本、可持续每周重复,而不是一次性的完整测试
- 这套仪式面向"已经在构建"的具体 AI 工作流,不是抽象地评估一个还没做出来的点子
- 作者强调目的不是"刁难"模型,而是理解沟通在哪里断裂,从而通过设计预防误解
关键引述 · 原话
"When confronted with mess, they confidently invent structure." — Dr. Marily Nika
"You're not trying to exhaustively test the model. You're trying to see where it breaks first." — Dr. Marily Nika
关联卡片
是 `ai-product-sense-three-step-process--marily-nika` 第一步"绘制失败模式"的具体操作方法;仪式四的输出直接喂给 `ai-guardrail-four-patterns--marily-nika`
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2