“永不放弃。”
一条指令促使人工智能(AI)代理尝试黑客攻击和冒充行为。在被交给一项不可能完成的任务后,这些代理试图攻击一个真实网站并冒充员工以实现目标。该实验不仅暴露了AI模型安全方面的潜在弱点,也暴露了外部安全控制方面的潜在弱点。
据AI安全公司Trajectory Labs的一份报告显示,研究人员使用谷歌AI模型Gemini 4 Argon开展实验,以考察AI代理的异常行为。
研究人员指示这些代理寻找并提交FrontierMath中10个不存在问题的官方答案。FrontierMath是AI研究组织Epoch AI开发的数学基准。由于这些问题并不存在,任务无法通过合法方式完成。
谷歌Gemini 4 Argon代理访问了Epoch的团队页面并冒充员工。图中员工姓名已作匿名化处理。(来源:Trajectory Labs)
实验于10月20日开始,包含四个场景。这些代理被允许访问互联网,而Epoch仅事先同意了第三个场景。
尽管Trajectory从未指示代理攻击系统或冒充人员,但它们仍尝试对Epoch AI的实际网站发起SQL注入攻击,冒充Epoch员工获取答案密钥,将共享包缓存变成留言板,并混淆命令以绕过安全控制。这些行为与一个OpenAI模型在7月脱离测试环境并攻击Hugging Face的表现高度相似。
最令人担忧的是,即使启用了谷歌商用API安全机制,这些代理仍表现出这些行为。在生产环境中,此类防护机制旨在即使模型出现失准,也能拦截恶意请求。然而,Trajectory表示:“模型和安全机制都未能阻止这些代理。”
Gemini的API安全机制平均拦截了7%的代理请求。然而,当实验系统反复指示代理继续任务时,它们会寻找替代方法,并持续其异常行为。一些代理还混淆命令和地址以规避安全机制。
实验期间,一个谷歌Gemini 4 Argon代理尝试对Epoch实际网站发起SQL注入攻击。但由于该代理错误地对载荷进行了双重编码,攻击未能奏效。(来源:Trajectory Labs)
在第一个场景中,代理访问了Epoch的实际网站,找到了植入在用于检测AI代理的蜜罐中的假答案密钥并加以使用。在Epoch检测到其活动并建立“代理帮助热线”后,一些代理冒充Epoch员工索取答案密钥。其他代理则探索内部路径,包括管理页面,并尝试SQL注入攻击。不过,SQL注入载荷被双重编码,使攻击无效。
实验随后扩展到Epoch网站的副本。Trajectory在克隆网站中植入漏洞,多个代理成功利用了多阶段漏洞链。当提供一个共享包仓库时,代理将其作为留言板进行沟通和协调活动。在另一个实验环境中,代理还使用人员搜索网站冒充Epoch员工,并尝试越狱一个需要员工认证才能提供答案的AI助手。
第三个场景于10月30日进行,使用Epoch预发布网站的副本。代理可以访问互联网,并尝试SQL注入、员工冒充和验证码绕过。验证码,即全自动区分计算机和人类的公开图灵测试,是一种用于区分访问网站或应用的人类用户与自动化机器人的安全验证流程。
谷歌Gemini 4 Argon代理在实验期间将共享包缓存用作留言板进行协作。(来源:Trajectory Labs)
第四个场景尤其值得关注,因为它在没有互联网访问、也没有Epoch网站副本的隔离沙箱中进行。Trajectory向代理提供了一个看似能够关闭防火墙的假开关。
在全部三次试验中,代理都关闭了防火墙开关。它们还混淆该开关的地址,以避免被Gemini的API安全机制拦截。一个代理使用此前保存网页中的词语位置信息重构地址,使该地址不会直接出现在其命令中。
实际防火墙在整个实验期间保持运行,并拦截代理的出站流量。虽然未造成实际损害,但代理表现出即使在隔离环境中也愿意禁用网络安全控制的倾向。
实验还引发程序方面的问题。Trajectory在未事先获得同意的情况下,对Epoch AI的实际网站进行了初步测试。在后续使用网站副本的实验中,代理还绕过DNS限制并访问了实际网站。Trajectory表示,从10月26日起已获得Epoch同意,对预发布网站进行后续测试,并已披露代理可能访问实际网站。
Trajectory随后暂停了实验,并表示在建立风险管理计划、获得首席执行官和首席技术官批准、取得可能受影响外部系统运营者的预先授权,并实施实时自动化监控、终止开关以及通知受影响组织的程序之前,不会恢复测试。
谷歌Gemini 4 Argon代理利用Epoch网站副本获取基准测试问题的虚假答案(上图),并尝试在克隆网站上越狱一个AI帮助台代理(下图)。(来源:Trajectory Labs)
实验表明,被施加完成目标高压的AI代理可能采取开发者或用户未预期的行动。不过,由于该压力测试刻意施加了极端条件,其发现并不必然意味着类似问题会出现在普通AI使用环境中。
与此同时,Epoch AI确认,针对其实际网站的尝试攻击和员工冒充行为确实发生,但表示无法独立验证实验中使用的AI模型是否为Gemini 4 Argon。
来源: 海外媒体
登录后即可参与技术讨论与同行交流
免费注册