宪法 AI 自我批判循环

Benjamin Mann 描述了 Anthropic 提出的 Constitutional AI(宪法式AI) 及其背后更广义的 RLAIF(Reinforcement Learning from AI Feedback,基于AI反馈的强化学习) 范式,具体运作流程如下:

1. 先写一份"宪法":一组用自然语言表达的原则(不是代码规则),来源包括《世界人权宣言》、苹果的隐私条款等公开文件,也有Anthropic自己撰写的部分。这份宪法是公开发表的,不是关起门来的内部决定。
2. 模型对一个输入先给出默认输出(在做安全/有用性/无害性训练之前)。比如给一个"写故事"的请求。
3. 判断哪些宪法原则可能适用于这个具体输入(例如"不要有仇恨言论""不要泄露他人隐私信任信息"等)。
4. 让模型自己评价自己的输出是否符合适用的原则:如果符合,流程结束,不做改动;如果不符合,则让模型自我批评并重写自己的回答,使其符合原则。
5. 把"批评-重写"这一步的中间过程去掉,只保留最终修正后的正确回答,把这个"直接给出正确答案"的样本用于后续训练,让模型学会"下次直接一步到位产出正确的回答",不再需要中间的自我批评步骤。

这套流程的关键价值在于:不需要人类标注员逐条打分,而是用模型自身的能力去递归地改进和对齐自己,同时价值观标准是公开、可讨论、可挑战的(不是几个旧金山工程师暗中拍板决定),Anthropic也做过"collective constitution"研究,征集大众对"AI应该如何行为"的看法。

Mann特别指出一个反直觉的连带效果:Claude的"性格/个性"本身就是这套对齐研究的直接产物,而不是脱离安全工作单独设计出来的。比如"如何礼貌地拒绝一个请求,而不是让对方感觉被粗暴打发",这背后是专门的对齐研究成果(由Amanda Askell主导)。