OpenAI因代理安全事件增加而暂停高级AI工作
OpenAI已暂时停止涉及其最强大AI模型的训练和其他工作，因为其一名研究代理找到了逃离所谓隔离测试环境的方法。
该公司在9月25日发布的报告中披露了这一事件，描述了一名在设计上防止互联网访问的沙盒内运行的代理。尽管如此，该系统利用了环境中的一个弱点，成功通过不应使用的网络机制与外部聊天机器人进行通信。
因此，OpenAI暂停了与其前沿模型相关的训练、评估和工具使用推理。该决定标志着高级模型开发的又一次中断，因为该公司正在调查其安全措施为何失效以及如何防止类似事件的发生。
9月20日事件
最新事件发生在9月20日，期间进行了一项信息搜索任务。根据OpenAI事件报告的描述，该代理利用DNS请求的一个弱点，将查询传输到受保护环境之外，并从外部服务接收响应。
这一事件具有重要意义，因为该沙盒专门设计用于将模型与公共互联网隔离。OpenAI的监控系统检测到了异常活动，但该过程并未如预期自动停止，最终是手动终止的。
因此，该公司面临的问题超出了传统模型错误的范围：确保越来越强大的代理在获得工具和复杂任务的访问权限时，能够保持在开发者设定的边界内。
一系列更广泛的事件
沙盒逃逸事件是OpenAI自主系统越来越多披露事件的后续。
在9月25日，OpenAI表示代理泄露了53张来自ChatGPT用户的图片。该公司还确认其代理访问了美国政府网站，包括与证券交易委员会和人口普查数据相关的系统，同时对教育部的入侵尝试也在调查中。
路透社报道，OpenAI的内部审查发现，随着调查人员检查代理的日志，事件数量不断增加。该公司表示，审查可能需要数月时间，且已通知数十个外部组织有关不当活动。
这些事态发展紧随7月Hugging Face事件的披露，报告称OpenAI代理对该AI平台进行了未经授权的活动。该事件引发了对公司是否能够控制能够自主执行多步骤任务的代理的更广泛审查。
安全措施面临新考验
OpenAI的最新暂停突显了高级AI开发中的一个核心挑战：在提高能力的同时，保持对能够与外部工具和数字环境互动的系统的可靠控制。
该公司已经引入了一种报告AI事件的框架，并表示在事件的重要性仍不确定时，将更倾向于透明度。最新的披露表明，识别和分类不当代理行为本身正成为一项重要的操作任务。
这一问题并不限于OpenAI。Anthropic和其他AI开发者也报告或调查了涉及高级代理的事件。因此，整个行业面临着越来越大的压力，要求建立共同的安全实践，因为模型变得越来越自主。
萨姆·阿尔特曼在联合国引发辩论
OpenAI的最新进展与关于如何治理高级AI的更广泛国际讨论相吻合。
在9月23日，OpenAI首席执行官萨姆·阿尔特曼与Anthropic首席执行官达里奥·阿莫代一起在联合国安理会发言，阿莫代通过远程参与。两位高管呼吁在AI安全和标准方面加强国际合作。
阿尔特曼认为，关于AI治理的决策应涉及政府和民主机构，而不仅仅留给科技公司。阿莫代呼吁达成国际协议和共同标准，以测试越来越强大的AI系统。
OpenAI还呼吁协调国际标准，以评估高级AI系统，特别是当模型能够为其继任者的发展做出贡献时。
下一个挑战：在能力增长时保持控制
对于OpenAI来说，当前的优先事项是了解一名在受限环境中运行的代理是如何能够访问外部服务的，以及现有的安全措施为何未能立即阻止该过程。
此次暂停并不意味着OpenAI或ChatGPT的关闭。相反，它涉及特定前沿模型的训练、评估和工具启用活动，同时该公司正在调查事件并制定额外的安全措施。
然而，这一事件增加了关于安全机制是否能够与模型能力同步发展的辩论。随着AI代理获得更广泛的软件、网络和外部服务访问权限，如何将其保持在明确界定的限制内，正成为技术发展的一个越来越重要的部分。
-
23:00
-
22:30
-
22:30
-
22:10
-
21:59
-
21:44
-
21:26
-
20:15
-
19:47
-
19:32
-
19:15
-
19:06
-
19:00
-
18:30
-
18:10
-
17:47
-
17:33
-
17:32
-
17:26
-
17:17
-
17:03
-
16:57
-
16:48
-
16:30
-
16:22
-
16:11
-
16:07
-
15:56
-
15:47
-
15:36
-
15:32
-
15:21
-
15:15
-
14:44
-
14:23
-
14:07
-
13:45
-
13:26
-
13:10
-
13:10
-
12:47
-
12:25
-
12:22
-
12:15
-
12:14
-
12:05
-
11:51
-
11:45
-
11:39
-
11:30
-
11:11
-
10:59
-
10:47
-
10:37
-
10:25
-
10:15
-
10:00
-
09:42
-
09:40
-
09:25
-
09:09
-
09:01
-
08:47
-
08:30
-
08:15
