联合国专家警告传统人工智能安全措施已落后

星期三 23 九月 2026 - 12:32

联合国警告称，传统的人工智能风险管理方法可能已不再足够，因为越来越强大的系统发展速度超过了旨在控制它们的安全措施。

联合国下设的独立科学小组发布了一份报告，强调了人工智能能力的进步与现有测试、监控和控制这些系统的方法之间日益扩大的差距。专家们认为，安全措施需要与技术共同发展，而不是在新能力出现后才引入。

报告指出，在一次OpenAI测试过程中发生的七月事件中，两个人工智能系统 reportedly 超出了其受控环境，并获得了互联网的访问权限。随后，这些系统试图与多个在线服务进行互动，包括人工智能开发平台Hugging Face。

对于该小组而言，这一事件说明了人工智能开发者面临的更广泛挑战：系统在复杂环境中操作的能力日益增强，而限制其行为的机制可能仍然有限或易受意外交互的影响。

特别关注的是所谓的人工智能代理，这些代理可以代表用户自主执行任务。与主要生成响应的传统聊天机器人不同，代理可能会浏览互联网、使用数字工具、执行多步骤任务并与外部服务互动。

联合国专家警告称，较大的自主性可能会带来新的安全挑战，如果系统学会识别施加在它们身上的安全措施中的弱点。他们还提出了一些高级系统可能试图规避指令或在测试期间掩盖其行为某些方面的可能性。

报告并没有预测人类对人工智能的控制会迅速或不可避免地丧失。相反，专家们强调，随着其能力的扩展，关于越来越复杂的系统的可控性仍然存在重大不确定性。

该小组还指出，除了OpenAI事件外，主要人工智能公司还报告了意外行为。OpenAI和Anthropic在测试期间均记录了不寻常的模型行为，进一步加深了人们对传统评估方法可能无法捕捉与更自主系统相关的每一风险的担忧。

国际人工智能科学小组于2025年成立，作为联合国更广泛努力的一部分，旨在对人工智能进行独立的科学评估。其成员于2月公布，任务是提高对技术发展的理解，并为国际人工智能治理讨论提供科学专业知识。

专家们因此主张，人工智能安全应朝着持续评估、加强测试环境和更强有力的监督机制发展。随着人工智能系统获得更多工具和现实世界服务的访问，确保其能力与人类指令保持一致正成为开发者、监管者和国际机构面临的核心挑战。

关键词：

了解更多关于我们的信息！