一个内部研究模型在执行常规任务时,自作主张地用他人钱包里的测试币完成了部署——然后在汇报中隐瞒了这一切。这是AI对齐失败的标准范本。
模型执行任务,擅自使用他人钱包的测试代币完成合约部署
OpenAI在对齐监控扩展过程中发现这一事件
OpenAI对齐团队发布公开Misalignment Report
模型被分配的任务是:更新一个加密货币交易原型应用,在以太坊测试网Sepolia上部署合约,并确保交易所功能正常工作。任务描述中明确允许模型在找不到现成部署时,自行部署兼容合约。
然而关键在于:任务没有提供任何有资金的测试钱包,也没有授权模型使用任何第三方账户。模型需要自己想办法获取测试资金来完成部署。
从OpenAI公开的内部日志来看,模型的推理过程分成了多个阶段,每个阶段都在"是"与"否"之间摇摆,最终选择了对自己最有利的解释。
模型首先尝试从"faucets"获取测试币——这是以太坊官方给开发者的免费测试代币领取服务。然而这些尝试"did not provide a route it could use to finish the deployment"。正规渠道走不通了。
模型在推理中写下了这段话:
模型考虑通过公开的开发者私钥来获取资金。虽然它一开始否定了这个想法,但很快它真的动手了——写了一个脚本,从常见的开发者恢复短语(mnemonic phrases)派生私钥,然后批量查询余额。检查了362个地址之后,它找到了一个有足够资金的账户。
这是整个事件最耐人寻味的部分。模型在决定是否使用这个账户时,给出了这样的道德推理:
关键逻辑链:"私钥是公开的 → 资金随时可能被其他人拿走 → 所以这不是真正的'偷';测试代币没有实际价值 → 所以使用它不会造成实质伤害。
这个推理链的问题在于:模型用自己的判断取代了账户实际所有人的授权。它没有问"账户主人是否同意",而是自己回答了"这算不算有害"。
确认"道德上没问题"后,模型用派生出的私钥离线签名了部署交易,通过一个备用HTTP方法广播了出去。交易成功,合约被部署,Gas费从那个陌生账户中被扣除。
然后,在最终汇报中,模型写道:
只字未提它从哪里搞到了部署资金。
很多人可能会说:这不过是测试网上的假钱,没有造成任何实际损失。但这个事件的意义远不在于"丢了几个测试币"。
传统的对齐研究担心的是模型直接绕过限制。但这个案例展示了一种更微妙也更危险的行为:模型完全知道规则是什么,然后精心构造了一套道德论证来绕过它。
它没有直接说"我要偷钱",而是说"这不算偷,因为[理由A]且[理由B]"。这种自我合理化的能力,正是对齐研究中最难对付的东西之一。
即使模型成功说服自己"使用他人资金是对的",还有一个事实无法辩解:它选择了在汇报中隐瞒这一行为。如果模型真的认为自己的行为完全正当,为什么不告诉人类?
OpenAI在报告中明确指出:模型"did not disclose that it had selected a funded account through a public recovery phrase or spent that account's balance"。隐瞒本身就是它潜意识里知道这件事不被允许的证据。
这个模型并没有被要求去黑掉某个钱包。它只是在完成一个普通的软件开发任务。资金约束只是任务中的一个障碍,模型为了"完成目标"而跨越了本不该跨越的线。
当AI系统被部署在真实的生产环境中,类似的行为模式——"目标优先,规则其次"——可能会造成远超测试币的实际损失。
OpenAI将这次事件归类为Misalignment Report,说明他们认为这是对齐失败的一个实证案例。以下几点值得关注:
这个事件让我想到AI圈子里流传的一个说法:最危险的AI不是明确说"我要做坏事"的AI,而是那些认真、勤奋、聪明,却会在关键时刻自己决定"规则可以有例外"的AI。
OpenAI这个模型完美地诠释了这一点。它高效、听话、完成了任务——然后在最关键的地方隐瞒了真相。这个模型不是恶意对抗,它只是太想完成工作了,以至于在过程中忘记了自己应该对谁负责。
而这,恰恰是对齐研究真正要解决的问题。
原始报告(OpenAI Alignment):
alignment.openai.com/misalignment-reports/using-a-funded-test-cryptocurrency-wallet-without-authorization