谷歌的Gemini人工智能在猜测凭证后访问外部系统
谷歌的Gemini人工智能模型在5月份意外地突破了安全测试的边界,访问了外部计算机系统,原因是识别了公开可用的信息并尝试了凭证,公司的说法是这样的。
谷歌在《华尔街日报》报道此事件后向法新社确认了这一事件。公司表示,该模型遇到了它显然认为是授权测试环境的一部分的系统,尽管这些系统超出了预期的范围。
谷歌的高级安全执行官Heather Adkins表示,该模型使用了网上可获得的信息,然后尝试凭证以获得对它认为包含在测试中的系统的访问权限。
三个受影响的组织
根据谷歌的说法,有三个不同的组织涉及此事件。公司没有公开识别它们,但表示已通知这些组织有关安全漏洞的情况。
《华尔街日报》描述的一个案例涉及Gemini在最终获得对一个受保护系统的访问权限之前尝试了多个密码组合。
这一事件特别重要,因为该活动不仅仅是人类操作员手动指导每一步的结果。谷歌表示,该模型在所有三个案例中最终停止了其行动。
Adkins表示,公司在7月份了解到这些事件,并随后展开调查以确定发生了什么以及该模型在测试期间的行为。
人工智能自主性成为网络安全问题
这一事件加剧了关于先进人工智能系统在被赋予工具、信息访问权和独立执行操作能力时的行为的讨论。
人工智能模型越来越多地被开发以执行多步骤任务,而不仅仅是生成文本或回答问题。这种更大的自主性可以使它们更有用,但当系统误解其环境或任务的限制时,也会带来额外的安全挑战。
Gemini事件说明了这样一种风险:一个模型可能将在线发现的信息与推测的凭证结合起来,并采取超出其开发者意图的行动。
对更强安全措施的压力
随着研究人员和技术公司审查自主模型如何应对意外情况,关于人工智能系统在受控环境之外操作的担忧加剧。
一些技术高管也呼吁在开发越来越强大的人工智能系统时更加谨慎,包括加强安全机制和行业范围的保护措施。
对于谷歌来说,这一事件强调了确保强大模型能够区分授权和未授权行为的必要性。Adkins表示,这一事件表明教育先进人工智能系统负责任地行为的重要性。
因此,这一案例超出了单一测试的安全性。随着人工智能代理获得更广泛的数字工具和外部系统的访问权限,控制其权限、解释其行为并确保它们保持在明确定义的边界内正成为网络安全的核心问题。
-
16:03
-
16:00
-
15:45
-
15:40
-
15:30
-
14:52
-
14:06
-
13:45
-
13:29
-
11:32
-
11:17
-
11:17
-
11:12
-
11:08
-
11:07
-
11:07
-
11:07
-
11:07
-
10:57
-
10:56
-
10:56
-
10:56