基准高估自主性效应

核心论点：benchmark 让 AI 看起来比实际更自主，原因在于——benchmark 只能在"已经被人类框定（framed）、写下来、可打分"的问题上上涨。而现实工作里最关键的人类劳动恰恰是"想到要提这个问题、把它框成可执行任务"这一步，它无法被测量。即使 benchmark 饱和，也不等于替代了做框定工作的人：永远存在一个更高的 frame 可以把当前模型清零。

第一手证据（senior engineer benchmark，作者自建）：

• 背景：Dan 纯 vibe coding 做了 Proof，上线即持续宕机、自己修不动；请两位资深工程师各自独立重写，留下两份"人类答案"。
• 测法：给新模型 prompt——"这是 vibe coded slop，从第一性原理重写它"。
• 结果：GPT 5.5 之前的所有模型 ≈ 30/100；人类资深工程师 ≈ 85-90/100；GPT 5.5 拿到 62/100（且用的是 Opus 4.7 生成的 plan——该模型的 plan 很强）。GPT 5.5 是唯一有"胆量"整块撕掉旧代码真正重写的模型；其他模型都倾向于打补丁糊边缘，哪怕明确告诉它不要。
• 关键细节：这个看似简单的 prompt 本身花了很久调——既不能泄露答案、又要让模型展现真实能力。prompt/框定本身就是不可测的人类技能。
• 更深一层：他最初的真实 prompt 是"把昨天报的四五个 issue 修了"。所有市面上的编码模型都会认真执行你的框定、直接去修 issue；而真正的资深工程师会拒绝这个框定："这代码是坨屎，得重写，虽然你们不想听。"模型即使被问到会同意，但不会主动这么做——且有很多激励在阻止它这么做。作者预测一年后依然如此。

推论一：AI 是人人可用的广泛分布技术，所以"AI vs 人类"的比较是假问题——真实比较永远是"用 AI 的人 vs 用 AI 的人"（他的人类基线也是用 AI 的工程师，只是用法他自己达不到）。AI 不会自己使用自己，任何真实用例附近总有一个人。

推论二：即使模型分数逼近人类（"一年内到资深工程师水平"），也很容易通过改换更高的 frame 把它清零——所以"benchmark 饱和 = 裁掉资深工程师"不成立。这就是他一边看到 METR 式结果（当时最大的 Anthropic 模型可以 50% 成功率做 17 小时长的任务）、一边继续招工程师的原因。