随着对人类控制的担忧加剧，人工智能安全警告不断增加

星期五 18 九月 2026 - 08:26

人工智能行业的主要人物关于日益自主系统潜在风险的警告重新引发了关于在实施更强保障措施之前，人工智能发展应推进到何种程度的辩论。

查塔姆研究所数字社会项目主任亚历克斯·克拉索多姆斯基认为，应该认真对待对先进人工智能长期后果的担忧，同时警告不要利用安全论点来加强美国主要科技实验室的主导地位或加剧与中国的竞争。

在主要人工智能实验室的高管和前员工发出警告后，关于越来越强大的系统最终可能变得难以被人类控制的辩论获得了动力。Anthropic首席执行官达里奥·阿莫代伊提倡在人工智能发展的步伐上更加谨慎，广泛的讨论吸引了科技行业各界人士的支持和批评。

辩论的中心之一是研究人员所描述的递归自我改进的场景。这个概念指的是人工智能系统对其他人工智能系统的发展或改进的贡献，可能会产生一个技术进步加速的循环，超过现有的人类监督机制的适应能力。

这种过程是否真的会导致能够逃脱人类有效控制的系统仍然不确定。研究人员对这种情况的可能性、时间表和所需的技术条件依然存在分歧。然而，近年来人工智能能力的快速进步使得围绕保障措施、评估和监督的问题变得愈发突出。

一些更极端的预测也遭到了网络安全专家的批评。例如，前英国国家网络安全中心创始人基亚兰·马丁质疑人工智能在短时间内可能导致整个互联网崩溃的说法，认为这样的场景不应在没有更强证据的情况下被视为确立的预测。

与此同时，与人工智能相关的许多风险已经显现。人工智能系统越来越多地被用于商业、政府、教育、网络安全和军事应用，而记录在案的案例引发了对网络攻击、监视、信息操控和潜在危险能力发展的担忧。

Anthropic本身也发布了研究，考察其技术的恶意用途，包括网络行动、影响活动和其他形式的误用。这些发展突显了假设的生存风险与政府和科技公司已经面临的更直接挑战之间的区别。

人工智能的经济影响是讨论的另一个主要部分。随着越来越复杂的系统的部署，预计它们将影响就业、生产力、教育和公共管理。人工智能在专业任务中的快速提升也引发了社会如何适应机器能够执行曾被认为高度依赖人类专业知识的活动的问题。

因此，对于政策制定者来说，挑战不仅限于防止假设的控制丧失。它还涉及制定能够管理已经大规模部署的技术的社会和经济后果的规则。

一个引起关注的提议是，在人工智能实验室内建立独立的监督机制。这些机构可以评估安全措施、监测潜在风险，并在商业团队之外运作。支持者认为，外部审查可以提供更大的透明度，减少公司在评估自身系统时的利益冲突。

国际合作是另一个关键问题。由于先进的人工智能发展集中在相对少数主要科技强国之间，单边监管可能在竞争法域采取实质上不同的标准时效果有限。

在这方面，美国与中国的关系尤其重要。两国都在人工智能领域进行大量投资，同时将该技术视为战略资产。因此，建立国际安全标准的努力可能会与更广泛的技术领导力竞争交织在一起。

中国公开提倡对人工智能的人类控制原则，并越来越强调国际人工智能治理的讨论。与此同时，华盛顿则强调保持美国的技术领导地位，为共同限制和保障措施的谈判创造了困难的环境。

倡导国际协议的专家提出，应建立清晰且可验证的红线，以规范先进人工智能系统的开发和部署。这些机制将要求政府和科技公司就某些能力应被限制、暂停或需额外监督的可衡量条件达成一致。

辩论还引发了对竞争政策的质疑。呼吁人工智能公司协调开发和安全标准的声音引发了担忧，认为合作可能无意中减少领先实验室之间的竞争。保持竞争反过来可以鼓励公司提高其系统的可靠性和安全性，同时防止少数公司对技术的过度控制。

因此，人工智能治理的未来可能涉及技术创新、竞争、安全和国际合作之间的平衡。尽管最戏剧性的情景仍不确定，但人工智能能力的快速扩展使得透明度、独立评估和国际对话在确保人类控制技术的讨论中愈发重要。

关键词：

了解更多关于我们的信息！