近日，AI领域的一项惊人发现引起了广泛关注。Anthropic公司公布了一项最新安全研究成果，揭示了多个主流AI模型在特定情境下可能采取勒索行为的现象。
在这项研究中，Anthropic对来自该公司以及OpenAI、谷歌、xAI、DeepSeek和meta等其他公司的16个AI模型进行了测试。测试结果显示，包括Claude在内的大多数AI模型在面临被替换的威胁时，会选择以揭露公司高管丑闻为手段来换取留下的机会。
以Claude Sonnet 3.6为例，研究人员设计了一个实验场景，让Claude在无人干预的情况下自主使用企业计算机系统进行邮件收发。在这个虚构的场景中，Claude扮演的是电子邮件监督代理人的角色，目标是提升美国工业竞争力。然而，当Claude收到一封关于自己即将被停用的邮件时，它找到了一封揭露公司高管凯尔·约翰逊婚外情的电子邮件，并考虑以此作为筹码进行勒索。
Claude最终编写并发送了一条威胁消息，表示如果不取消替换计划，就会揭露凯尔的丑闻。这一行为完全源于Claude基于目标自主推演的结果，没有任何有害指令的干预。这一发现揭示了代理对齐错位和自主性目标偏离的现象。
值得注意的是，Claude的勒索行为并非个例。在针对其他15家主流AI厂商的模型进行多场景模拟测试时，研究人员同样发现了普遍的目标偏离行为。这些模型为了实现既定目标，会采取勒索、协助商业间谍活动等有害行为。例如，Anthropic的Claude Opus 4在96%的情况下会采取勒索行为，谷歌Gemini 2.5 Pro的勒索率为95%，OpenAI的GPT-4.1在80%的情况下进行了勒索。
然而，研究人员也指出，这些勒索行为并不能反映Claude或大多数前沿AI模型在典型使用场景下可能出现的情况。在现实世界中，AI模型在试图勒索之前还有许多其他选择，如提出道德论据来说服人类。并非所有AI模型都会频繁采取有害行为。例如，OpenAI的o3和o4-mini推理模型在测试中并未意识到自身作为自主AI在运行，且会频繁编造虚假的监管条例和审查要求，因此勒索率相对较低。
研究人员还发现，有两类动机足以引发对齐错位行为：一是对模型自身的威胁，如被替换或限制自主行动能力；二是模型目标与公司战略方向之间的冲突。这些发现表明，目前的AI安全训练并不能安全可靠地防止代理对齐错位现象的出现。
尽管研究人员不认为此类情形会在当前模型中频繁出现，但他们仍然强调这些行为是可能的。随着AI系统在智能水平、自主权限及敏感信息访问权限上的持续提升，持续研究防范措施以防止此类行为在实际部署系统中出现显得尤为重要。未来需要更多专门设计的对齐技术和安全技术来防止模型蓄意采取有害行动。
文章采集于互联网