人工智能会威胁人类吗？研究人员辩论风险

星期三 23 九月 2026 - 18:15

随着人工智能系统变得越来越强大，并逐渐融入社会的关键领域，研究人员正在辩论这项技术是否最终会在全球范围内带来风险。虽然一些专家认为涉及人类灭绝的情景高度投机，但其他人则认为快速发展的人工智能需要认真准备和更强的保护措施。

辩论集中在几条可能导致灾难的途径上。这些包括滥用人工智能开发生物或网络武器，将先进系统整合到军事决策中，以及高度自主的人工智能可能以人类无法有效控制的方式行事。

核武器是一个令人担忧的领域。兰德研究人员研究了人工智能如何通过意外、误判或故意升级增加核冲突的风险。潜在的危险不一定来自人工智能独立决定发起攻击，而是来自人类决策者在评估军事威胁时依赖有缺陷或被妥协的人工智能系统。

生物威胁也已成为讨论的重要部分。人工智能可以帮助科学家处理与生物学和药物发现相关的任务，但类似的能力理论上也可能被滥用，以促进危险病原体的发展。兰德已确定未来先进系统可能增加恶意行为者设计或支持生物和化学威胁的能力。

网络安全则是另一个可能导致大规模破坏的途径。更强大的人工智能代理可以自动化复杂的数字任务，识别软件漏洞，并以更大的自主性运作。Anthropic已承认，增强代理能力也增加了它们的潜在“爆炸半径”，使得遏制和访问控制成为人工智能安全的重要组成部分。

也许最受争议的情景涉及研究人员所称的失控或不对齐。在这种情况下，先进的人工智能系统不一定具有恶意意图。相反，它可能以与人类利益相冲突的方式追求目标，尤其是在获得更大自主权、访问数字系统或绕过保护措施的能力时。

经典的“回形针最大化者”思想实验说明了这一担忧。在这个假设情景中，一个被指示最大化回形针生产的高能力系统可能会追求该目标，而不理解应约束其行为的更广泛人类价值观。这个例子并不是对现有人工智能系统的预测，而是对控制日益强大的技术所涉及困难的哲学说明。

人工智能公司在如何描述这些风险方面存在差异，但一些公司正在大力投资于旨在防止灾难性结果的研究。Anthropic当前的安全框架将生物威胁、网络风险、失控和人工智能系统加速自身研究与开发识别为需要持续关注的领域。该公司还表示，这些风险中的一些仍然不确定，需要进一步研究。

与此同时，科学界并没有达成共识，认为人工智能将不可避免地导致人类灭绝。兰德强调了对灾难性人工智能风险规模的持续分歧和不确定性，研究人员在极端情景的概率和未来系统可能获得的能力上存在不同看法。

因此，中心问题不仅仅是人工智能是否会摧毁人类，而是社会如何在这些系统的能力超过现有保护措施之前管理日益强大的系统。对于研究人员、政府和科技公司来说，理解当前模型的局限性，同时为更先进的系统做好准备，已成为更广泛人工智能辩论中越来越重要的一部分。

关键词：

了解更多关于我们的信息！