质量双向信号
解决什么问题
给 AI 训练数据/输出定义"质量"时，团队很容易退化成"打勾清单"式的肤浅标准（是不是一首诗、有没有八行、有没有出现"月亮"这个词），导致训练出来的模型行为平庸、可预测但不出色。需要一个更接近人类真实判断力的质量框架。
核心内容
Edwin Chen 提出，判断数据/回答质量应该拆成两个独立的子问题，而不是一个笼统的"好不好"：
- 去掉最差的（worst of the worst）：类似内容审核/垃圾过滤——去掉低质量、无法用、明显错误的内容。这一层相对容易做，是"及格线"过滤。
- 发现最好的（best of the best）：这一层才是真正难做、也最容易被忽视的——不是"符合所有显式指令"就算好（比如一首诗满足"八行"“提到月亮”），而是要问：这段内容是否独特、有细腻的意象、是否出人意料、是否触动人心、是否教你理解了一些关于月光本质的东西。这是"诺贝尔奖级别"的标准，而不是"高中生水平"的标准。
为了在规模化的众包环境里做到这一点，Surge 的做法是：收集每个人在完成每个任务时的成千上万个信号（打字速度、修改历史、代码规范符合度、由这些人产出的内容训练模型后模型表现的提升程度等），并像 Google 搜索排序一样，用这些信号去判断"这个人/这段内容是不是这个领域里真正好的那个"，而不是简单地"是否达标"。
这个两层框架的价值在于：把"质量"从一个模糊词拆成"过滤下限"和"发现上限"两个可操作、可分别建设技术能力的子问题。
适用边界
- 需要投入大量工程/研究资源（构建信号收集系统、训练自己的模型来判断谁的产出更好），不是轻量级方法，适合有一定规模的数据/内容生产场景。
- "上限"标准（好的诗歌/文档）本身带有评判者的主观品味（taste），不同团队、不同实验室对"好"的定义会不同，作者也承认这一点会导致不同模型呈现不同"性格"。
关键引述 · 原话
"If you don't think deeply about quality, you'll be like, 'Is this a poem? Does it contain eight lines?'... But that's completely different from what we want. We are looking for a Nobel Prize-winning poetry." — Edwin Chen
"There's almost two aspects of it. One is you want to remove all of the worst of the worst... But then you also want to discover the best of the best." — Edwin Chen
关联卡片
- 与 post-training-evolution-ladder--edwin-chen 相关：质量判断标准的丰富度直接决定了 SFT/RLHF/rubrics 各阶段训练数据的天花板。
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2