前谷歌DeepMind研究员警告人工智能可能接近危险阈值

昨天 16:42

关于先进人工智能潜在风险的警告正在加剧，研究人员和科技领袖正在辩论行业应多快开发越来越强大的系统。前谷歌DeepMind研究员比拉尔·丘赫塔伊（Bilal Chughtai）表示，进展的速度可能使人类没有足够的时间来防止严重后果。

丘赫塔伊最近离开了谷歌DeepMind，在那里他在Alphabet内工作，处理与人工智能安全和人工智能系统与人类利益对齐相关的问题。在社交媒体平台上分享的帖子中，他将该领域的最新发展描述为一个重大担忧的来源。

这位研究员认为，人工智能最终可能达到一种能力水平，这对人类构成生存风险。虽然这种情况仍然是科学家和技术专家之间辩论的主题，但他的评论反映出对当前安全措施是否足以应对日益先进的人工智能系统的日益关注。

这种担忧与生成性人工智能的快速扩展以及能够执行越来越复杂任务的系统的发展有关。人工智能模型正在研究、软件开发、商业、教育和其他领域中得到部署，同时科技公司继续在计算基础设施和研究方面进行大量投资，以创建更强大的系统。

一个核心问题是，人工智能能力的进步是否与安全和控制机制的进展保持同步。致力于人工智能对齐的研究人员寻求确保强大的系统按照人类意图行事，并保持在有意义的人类监督之下。然而，随着系统变得更加自主，维持这种控制可能变得越来越具有挑战性。

丘赫塔伊的警告正值其他科技行业知名人物表达类似担忧之际。Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）呼吁在开发最先进的人工智能系统时更加谨慎，认为开发者需要认真对待高度能力模型可能产生的危险结果。

这一辩论也引起了包括OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）和企业家埃隆·马斯克（Elon Musk）在内的科技领袖的关注。他们在人工智能发展和监管的各个方面存在不同观点，但更广泛的讨论反映出对技术进步需要伴随有效安全措施的日益认识。

与此同时，丘赫塔伊并没有主张人工智能应该被简单放弃。他在该领域的持续工作反映出，人工智能如果研究人员、公司和政府在风险管理和负责任的部署上进行足够投资，潜在可以安全开发。

在离开谷歌DeepMind后，丘赫塔伊加入了非营利组织BlueDot Impact，他的工作重点是教育专业人士关于人工智能安全原则。目标是帮助各个领域的工作人员理解新兴风险，并发展管理日益普及的人工智能应用所需的知识。

随着世界各国政府考虑如何在不阻碍有益创新的情况下监管强大的系统，人工智能安全已成为更广泛的政策问题。政策制定者正在审查透明度、测试、问责制、网络安全和高级模型监控等领域。

这一辩论也因技术发展的速度而变得复杂。新的人工智能能力可能出现的速度快于监管框架的更新，同时公司面临强烈的商业激励，以在快速扩展的市场中竞争。这加剧了对研究人员、科技公司和政府之间合作的呼声。

对于支持更强有力保护措施的人来说，目标并不一定是停止人工智能的发展，而是确保安全研究与能力的进步并行。他们认为，在系统变得显著更强大之前识别潜在风险，可能提供更好的机会来防止有害结果。

因此，丘赫塔伊的评论为关于人工智能长期轨迹的日益突出辩论增添了内容。最严重的情景是否会实现仍不确定，但对控制、对齐和问责的担忧正成为关于先进人工智能未来讨论中越来越重要的一部分。

关键词：

了解更多关于我们的信息！