如果机器能够自我提升，人工智能会成为威胁吗？

08:47

人工智能正进入一个新阶段，核心问题不再仅仅是机器能做什么，而是如果越来越先进的系统能够提升自身性能，会发生什么。随着人工智能模型变得越来越自主，并且在编码、规划和使用数字工具方面变得更加出色，人们对人类监督是否能够跟上机器驱动决策速度的担忧日益加剧。

最严重的风险可能并不是机器在传统意义上变得“比人类更聪明”。相反，专家们越来越关注智能、自治、速度与对强大数字系统的访问的结合。一个拥有广泛权限的高效系统可能会做出决策并执行复杂任务的速度超过人类审查、纠正或阻止它们的能力。

阿拉伯研究与研究中心人工智能与网络安全部门负责人穆罕默德·穆赫森·拉马丹表示，对先进人工智能的担忧不再局限于科幻情景。来自直接参与技术领域的研究人员和专业人士的警告越来越多，反映出对构建更强大和自主系统的竞赛后果的日益不确定性。

这一辩论的中心概念是递归自我提升。这个概念指的是一个人工智能系统帮助提升其自身软件、能力或架构，可能使每次改进都能为下一个发展周期做出贡献。在其最极端的理论形式中，这一过程可能会加速技术进步，远超人类理解或监督的速度。

当前的人工智能系统尚未达到一些涉及人工超智能场景中描绘的完全自主、持续自我提升的阶段。然而，现代人工智能代理正在变得越来越能够编写和分析代码、规划多步骤操作、与外部工具互动并在有限的人类干预下完成任务。这些发展使得关于安全性和控制的问题变得更加紧迫。

从网络安全的角度来看，危险并不一定涉及人工智能系统故意反对人类。一个更现实的担忧是，一个高效系统在追求一个定义不明确的目标时，拥有广泛的权限和对互联数字环境的访问。

例如，一个先进的人工智能代理可能会识别软件漏洞，分析它，生成代码，测试不同的方法并调整其策略。如果这样的循环在很大程度上是自动化的，发现和执行的速度可能超过人类操作员的干预能力。如果该系统连接到敏感基础设施、金融网络或其他关键服务，后果可能尤其严重。

前埃及媒体与关系助理内政部长阿布·巴克尔·阿卜杜勒·卡里姆同样认为，风险的水平不仅取决于智能，还取决于智能与自治和权威的结合。他表示，随着系统变得越来越能够做出决策，必须建立更强大的机制来监控它们的行为，理解它们的行动，并在必要时关闭它们。

这一问题超出了网络安全的范围。更自主的人工智能系统可能对国家安全、关键基础设施、金融市场、就业、信息生态系统、媒体和决策产生影响。人工智能处理大量信息、生成内容和自动化复杂操作的能力意味着，技术进步将越来越需要伴随更强的治理。

阿卜杜勒·卡里姆认为，未来几年的关键挑战将不是人类与机器之间的简单对抗。而是人类机构是否能够发展出负责任地管理日益强大的技术的能力。

因此，专家和政策制定者呼吁在部署之前对先进的人工智能系统进行严格的安全评估。措施可以包括对抗性测试、网络安全评估、明确定义的权限、持续监控、敏感环境的隔离以及可靠的人类干预或紧急关闭机制。

另一个担忧是，商业和地缘政治竞争可能会促使公司和政府优先考虑速度而非安全。没有足够测试的情况下，发布越来越强大的模型的竞赛可能会增加系统性风险，特别是当人工智能代理获得对外部系统的访问权并能够独立行动时。

与此同时，关于人工智能必然会毁灭人类的预测仍然是推测性的。目前没有确凿的科学证据表明人类灭绝是人工智能发展的预定结果。更紧迫的挑战是识别可信的风险，并在越来越自主的系统广泛融入社会关键领域之前建立保障措施。

因此，关于人工智能安全的辩论正在从机器是否会超越人类智能的问题，转向它们应该获得多少独立性的问题。一个系统不一定需要比人类更聪明，如果它能够更快地操作、访问强大的工具并在有限监督下行动，也可能造成严重风险。

人工智能最终可能成为有史以来最有价值的技术之一，应用范围从科学研究和医学到教育和工业生产。但确保这些好处需要将安全视为设计过程的一部分，而不是作为部署后对问题的反应。

因此，人工智能的未来可能更依赖于机器变得更强大的速度，而不是人类学习如何有效治理这种增长能力的能力。赋予智能系统的自治越大，人类监督的机制就需要变得越强大和快速。

关键词：

了解更多关于我们的信息！