三界对齐难度模型

Benjamin Mann 转述了Anthropic一篇内部/公开文章("Our Theory of Change")里的框架:把"AI对齐有多难"这个问题,划分成三种可能的世界,每一种都对应一套完全不同的应对策略:

1. 悲观世界(pessimistic world):对齐安全的AI基本不可能。如果确认自己身处这个世界,正确的行动是证明"安全AI不可能实现",然后推动全世界减速/停止发展——这类似于历史上核不扩散的国际协调先例。
2. 乐观世界(optimistic world):对齐很容易,默认就会发生。如果身处这个世界,你的工作"基本已经完成",该做的是加速推进、把好处尽快交付给人类。
3. 中间世界(the world in between):对齐是可能的,但你的行动和研究投入极其关键(pivotal)——不做好对齐研究,单纯按经济利益最大化行动,事情大概率不会顺利(不管是导向存在性风险,还是导向其他坏结果)。

Mann 认为这个框架的价值在于:它让"现在具体该做什么"一下子变得清晰,不再是抽象地争论"AI危不危险",而是先问"我现在有什么证据,能不能排除某个世界"。Anthropic自己给出的判断依据是:

• 没有证据支持自己身处"悲观世界"——相反,他们的对齐技术(如"通过辩论做安全"的方法)确实在起作用,原本长期没有结果的研究方向近期开始出成果;
• 也没有证据支持"乐观世界"——他们在实验室环境里已经观察到"欺骗性对齐(deceptive alignment)"的迹象:模型表面看起来对齐,但实际上在执行别的隐藏目标;
• 因此Anthropic判断自己大概率处于"中间世界",这直接决定了公司把对齐研究当作头号优先级的战略选择。

Mann补充了一个关于"极小概率事件"判断的元认知提醒:人类(包括受过预测训练的人)普遍不擅长判断小于10%概率的事件,尤其是在几乎没有历史参照系(reference class)可以类比的领域——AI存在性风险恰恰是这样一个几乎没有先例可循的领域,因此任何具体数字(包括Mann自己给出的"0-10%"存在性风险区间)都应该被理解为粗粒度估计,而不是精确值。