AI · PB · 174
品鉴团与少样本评估法
Trusted Taster Panel Plus Few Evals · trusted-taster-panel-plus-few-evals--cat-wu
所属簇 Evals 评估体系
解决什么问题
新模型发布节奏极快(Anthropic 内部几乎每隔几个月就有一次能力跃升),团队需要快速判断"这个新模型到底哪里变好了、哪里还有问题",但海量使用数据本身很难第一时间提炼出洞察。这套打法给出一个低成本、可复用的快速评估组合拳。
核心内容
三个互相配合的具体做法:
- 模型自我反思(introspection prompting):当模型做出意料之外的行为时(比如"改了前端代码、跑了测试,但没有实际用一下 UI 验证"),直接让模型自己反思"为什么你这么做"。常见的回答类型包括:"系统提示词里有让我困惑的地方""我没意识到前端验证是这个任务的一部分""我把验证委托给了子 agent,但子agent 没做测试,我也没检查它的工作"——这些回答能直接指出该修哪里的 harness。
- 建立一个"信任的品鉴小组"(trusted taster panel):与其看海量但杂乱的用户反馈,不如先找到那一小撮"特别擅长准确描述某个模型/harness 组合好在哪、差在哪"的人。具体操作是团队聚餐时挨个问"你对这个模型的 vibe 如何",往往能得到"这个模型不够解释清楚思路,太突兀了""这个模型太爱写 memory 了,但不确定质量高不高""这个模型爱自己写测试(这是好事)"这类具体、可行动的判断——这比海量数据更快指向该验证的方向。作者点名团队里 Amanda(负责塑造 Claude 性格)和整个 Claude Code 团队是她最信任的"品鉴师"。
- 用少量高质量 eval 验证品鉴小组提出的假设:不需要成百上千个 eval,做出 10 个真正锋利的 eval 就足够帮团队量化目标和进展。作者本人的工作方式是:遇到需要更清晰产品定义的功能,就亲自动手做 5 个左右的 eval,记录"怎么跑、哪些通过哪些不通过、用什么 prompt 提升了通过率"。
这三步构成一个循环:定性观察(taster + 模型自省)产出假设 → 用少量 eval 验证假设是否具有普遍性 → 用验证结果指导要不要修改产品/harness。
适用边界
- "信任的品鉴小组"依赖团队内部已经培养出几位判断力经过反复验证、值得信赖的人,这本身需要时间积累,不能凭空指定。
- 作者明确指出 eval 的重要性因功能而异——不是每个功能都需要建 eval,比如"打磨 Claude 的性格"这种任务本质模糊、依赖强烈的主观判断,更依赖品鉴而非量化 eval;而"memory"这类功能则从 eval 中获益很大。
关键引述 · 原话
Cat Wu: "A lot of times just being very curious about why the model made the decision that it did will show you what misled it so that you can fix the harness in order to close this gap."
Cat Wu: "You don't need to build hundreds of evals for them to be useful. Just building 10 great evals is important for helping the team quantify what the goal is."
— Cat Wu
关联卡片
- 与 `harness-deprecation-as-model-improves--cat-wu` 相互配合:本卡是发现"harness 哪里该调整"的诊断方法,那张卡是诊断出问题后"该拆还是该留"的处置原则。
出处：Cat Wu (Anthropic, Claude Code 产品负责人) · 03-podcasts/cat-wu.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2