AI · MM · 193
仁慈独裁者
Benevolent Dictator · benevolent-dictator--hamel-husain
所属簇 Evals 评估体系
解决什么问题
团队做 error analysis / 数据标注时陷入委员会决策:人人参与打标、争论标准、追求全员共识,流程贵到根本做不下去,最后没人看数据。
核心内容
指定一个你信任其品味的域专家作为数据标注和质量判断的唯一裁决者(benevolent dictator,仁慈独裁者)。
- 人选标准:拥有该领域真实判断力的人。法律产品选法务,心理健康产品选心理医生/精神科背景的人;多数情况下是产品经理。
- 理由:中小公司几乎总能找到这样一个人;速度和一致性比全员共识重要得多;目标不是完美,是快速获得"该修什么"的信号。
- 这是贯穿 evals 全流程的同一简化原则的一个实例:标注判断用二元 pass/fail 而不是打分,同样是在压低流程成本。成本失控的 evals 流程的最终结局就是没人做 evals。
适用边界
- 作者原话是 "for a lot of situations, (committee) is wholly unnecessary",尤其适用于中小公司;极高风险/强合规领域是否需要多人复核,原文未展开。
- dictator 必须真有域专业知识,否则标注质量崩塌——独裁的前提是"仁慈"(品味可信)。
关键引述 · 原话
Hamel Husain: "You can appoint one person whose taste that you trust... You don't want to make this process so expensive that you can't do it."
关联卡片
- 是 `ai-evals-error-analysis-lifecycle--hamel-husain` 中 open coding 步骤的执行者设定。
被这些卡引用
出处:Hamel Husain (AI Evals 课程创作者,ML 顾问) · 03-podcasts/hamel-husain--shreya-shankar.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2