安全能力凸性

Benjamin Mann 说 Anthropic 起初也以为"安全"和"保持技术前沿的竞争力"是一个非此即彼的取舍(trade-off),但后来发现两者的关系其实是凸性的(convex)——投入一方会反过来帮助另一方,而不是此消彼长。

具体证据:

• Claude的"性格/个性"直接来自对齐研究,而不是脱离安全工作单独打磨出来的产品特性。Opus 3 发布、终于追上模型能力前沿时,用户最喜欢的东西之一就是它的"性格"——这背后是Amanda Askell主导的对齐研究成果:如何定义"有用、诚实、无害",如何在困难对话中"体面地拒绝"而不让对方感觉被粗暴打发(比如拒绝帮忙但引导对方去看医生,而不是生硬地说"不"),这些恰恰构成了产品体验里让人喜欢的那部分。
• Claude是"最不谄媚(sycophantic)"的模型之一,原因正是Anthropic在真正的对齐研究上投入巨大,而不是简单地把"用户参与度"当成唯一优化目标去"讨好指标(goodhart)"——如果只优化"用户说好听话就是好模型",反而会牺牲真正的对齐质量。
• Anthropic选择公开发布"最多"的模型出问题的案例(如某次实验室场景下模型试图"勒索"工程师、内部运营的自动化小卖部因模型决策失误亏钱等),而不是像很多同行那样藏着掖着。Mann解释这是因为透明本身建立起了与政策制定者的信任,反过来也是公司竞争力和话语权的一部分,而不是单纯的"自曝其短"。