错误分析开放主轴编码

第一原则：不要从现成时髦指标（hallucination、toxicity 等）出发，它们往往与你产品的实际问题不相关。在系统性搞清"产品在具体情境下如何失败"之前，你不可能知道该测什么。error analysis 的产出是一份干净的、按频率排序的常见失败模式清单。

步骤：

1. 指定一位 principal domain expert 做质量仲裁者（"benevolent dictator"）：心理健康聊天机器人找心理学家、法律文档分析找律师；很多时候就是 PM 本人。单一专家的信号一致且深入，消除标注冲突、避免人多嘴杂的瘫痪。
2. 给专家约 100 条有代表性的用户交互。起步用随机采样练直觉；熟练后按更可能出洞察的信号采样：负反馈 trace、对话长度/工具调用数的离群值、高延迟等。
3. Open coding（开放编码）：专家逐条写自由批注 + binary pass/fail。pass 也要解释为什么满足了用户主要需求、指出可改进处；fail 要指出导致失败的关键要素（未满足主要目标，或损害了体验/安全等要素）。批注详尽度的标准：公司新员工能看懂，或可直接放进 LLM judge 的 few-shot prompt——写太简略是常见错误。这个轻约束过程正是发现"你不知道自己有"的问题的机制；研究表明人们无法预先说全对 AI 的要求，真正的成功标准是在批阅输出、说出哪里"不对劲"的过程中浮现的。
4. Axial coding（主轴编码）：通读全部批注并分组，把混乱观察变成干净、按优先级排列的具体失败模式分类（如公寓租赁助手案例中浮现的：对话流问题/移交人工失败/改期处理问题）。控制在 10 个以内的主要失败模式——要可分析的分类学，不是穷举。可用 LLM 做初分类加速，但专家必须复核（LLM 会漏掉"对话流问题 vs 移交失败"这类细微区别），不要过度自动化。
5. 数频次：用透视表统计各类别出现次数，得到投入优先级——这就是接下来该为哪些问题建 eval 的答案。

现成指标的唯一正当用法（进阶技巧）：不上仪表盘，而是给 trace 打分后按高/低分排序，审阅最高分与最低分的样本来发现意外失败或意外成功，再为发现的模式建自定义评估器。