评估投入精力基准线

来自两位作者的教学（2000+ PM 和工程师、500+ 公司）与咨询经验：

• 初始 error analysis 样本量：目标 100 条 traces——这是心理解锁数字，不是魔法数；真正的停止标准是 theoretical saturation（不再发现新类型问题），很多人 15-60 条即饱和。前 2-3 条最痛苦，之后速度很快。
• 初始投入：约 3-4 天——与团队做几轮标注、对齐共识、产出电子表格和最初几个 LLM judge。
• 持续投入：之后每周约 30 分钟（采样看数据 + 跑自动评估）。"每周做一次、每次 30 分钟，你的产品就会远好于对这些问题毫无察觉的状态。"
• LLM judge 数量：一个产品通常 4-7 个就够；大多数失败模式直接改 prompt 修掉，不值得建 judge。
• 一次性成本属性：judge 建好后永久复用于 CI 和在线监控（如每天采样 1000 条生产 traces 跑失败率）。
• 归类频率：open coding → axial coding → 计数的完整循环，熟练后一周做一次、30 分钟内完成。