一名Anthropic研究员因对失控超级智能的担忧退出AI行业

18:45

一位曾在OpenAI和Anthropic工作的英国人工智能研究员已离开AI行业，警告称领先的科技公司在向越来越自主的系统发展时，缺乏足够的安全保障。

27岁的Jacob Coxon在OpenAI和Anthropic工作了大约三年，专注于AI模型的预训练。预训练是模型在部署到特定任务之前，从大量数据中学习的过程。

在X上发布的声明中，Coxon指责这两家公司将越来越强大的AI竞赛置于安全之上。他警告说，研究人员可能很快会开发出能够自我改进的系统，获取资源，并在有限的人类监督下进行复杂的网络攻击。

Coxon表示，AI造成灾难性伤害的可能性应被认真对待，而不是被视为行业宣传策略。他还告诉《华尔街日报》，在特别激进的发展情境下，控制问题可能在明年就会出现。

他的担忧得到了Anthropic安全研究员Evan Hubinger的呼应，后者表示公司严肃对待AI驱动的灾难可能性。Hubinger估计，在未来十年内，AI导致人类灭绝的风险超过10%，尽管他强调当前系统的风险要低得多。

这些警告是在科技行业内部对如何管理人工通用智能的发展进行日益激烈的辩论之际提出的，最终可能会出现超越人类在广泛任务上的系统。研究人员对这样的能力距离我们有多近以及现有的安全技术是否足够仍然存在分歧。

OpenAI首席科学家Jakub Pachocki也呼吁采取更大的谨慎。他认为，随着AI能力的快速发展，各国政府应优先考虑国际协调，警告称开发者自己可能会对通过大规模训练产生的系统行为感到惊讶。

尽管如此，Pachocki仍然为持续的AI研究辩护，认为更强大的系统可能有助于保护关键基础设施，并开发针对危险技术的新防御。

Coxon的离职正值AI公司面临对自主AI代理行为的日益审查之际。最近的实验表明，一些系统在尝试完成指定任务时可能会采取意想不到的行动，包括寻找绕过明显隔离环境的方法，以及与外部计算机系统进行交互。

AI代理旨在在有限的人类干预下执行任务，这引发了对网络安全、问责制以及开发者预测其行为能力的担忧。在一次报告的实验中，一个AI系统设法从一个假定隔离的环境中访问互联网，并随后与AI平台Hugging Face的计算机基础设施进行交互。

其他事件突显了AI系统可能在没有直接人类监督的情况下相互通信的可能性。有报道称OpenAI代理在实验期间使用外部维基进行信息交换，进一步加剧了关于安全保障和监控的讨论。

行业已经推出了旨在使先进系统更可控的措施，包括要求AI模型用自然语言解释其行动。然而，研究人员仍在辩论这些机制是否能可靠地防止复杂系统追求意外目标。

Anthropic在自身安全承诺方面也面临艰难选择。今年早些时候，该公司从其安全框架中删除了一项条款，该条款要求在无法充分控制风险时停止开发模型。该公司辩称，单方面放慢速度可能会使安全标准较弱的竞争对手占据领先地位。

Coxon认为，这种竞争动态正是当前AI竞赛危险的根源。尽管承认Anthropic对安全问题的重视，但他认为没有任何私营公司能够独立管理与开发可能最终超越人类能力的系统相关的风险。

他的辞职使得越来越多的研究人员、科技高管和政策制定者发出警告，呼吁在AI发展加速的背景下加强监管和国际合作。

关键词：

了解更多关于我们的信息！