人智公司呼籲全球人工智慧協調，防止對先進系統失控

星期日 07 六月 2026 - 11:43

人智公司呼籲領先的人工智慧公司建立一個協調機制，以便在必要時暫停先進人工智慧模型的開發。該公司警告稱，人工智慧技術的快速發展可能超出人類的控制能力。

開發了聊天機器人Claude的公司週四在一篇部落格文章中表示，隨著尖端人工智慧執行任務的速度越來越快，「世界應該可以選擇減緩或暫時停止」其發展。

人智公司表示，其內部研究機構計劃與其他機構合作探討此問題，並「採取行動」協助建立可信賴的減緩或暫停機制，但並未透露更多細節。

人智公司的競爭對手OpenAI在周三發布的一份報告中提出了不同的觀點，稱“最終必須由民主政府——而不是單獨行動的私營公司——來決定規則、保障措施和問責機制。”

「我們認為，人工智慧創新速度的決策不應由任何一個實驗室、公司或特殊利益團體決定，」該公司表示。

Anthropic 在部落格文章中指出，人工智慧模型的運作速度正在不斷提升，它們自主執行軟體任務（例如編寫程式碼）的速度也在迅速提高。根據目前的趨勢，如果擁有足夠的運算能力，人工智慧系統或許能夠設計和開發出自己的後續版本，這被稱為「遞歸式自我改進」。

Anthropic 表示，自建置人工智慧將是一項重要的技術里程碑，它將為科學、醫療保健和其他領域帶來益處，但「它也可能增加人類失去對人工智慧系統控制權的風險」。

一些科技業人士長期以來一直警告會出現這種情況。

Anthropic 的部落格文章發布之前，多倫多大學的一個研究團隊本周也發出了類似的警告。該團隊展示瞭如何利用人工智慧工具創建一種新型的人工智慧“蠕蟲”，這種蠕蟲會在設備間傳播的過程中不斷調整其攻擊策略，最終控制龐大的計算網路。

「我認為，人們必須明白，並非只有規模最大、功能最強大的語言模型才會引發安全隱患，」首席研究員尼古拉斯·帕珀諾特在一次採訪中表示。

Anthropic公司聯合創始人傑克克拉克和其研究機構負責人瑪麗娜法瓦羅在這篇部落格文章中表示，這次暫停是為了讓「社會結構和協調研究」能夠跟上人工智慧發展的步伐。「協調」是業界對確保科技符合人類價值和意圖的簡稱。

擬議的協調機制將使先進的人工智慧實驗室能夠驗證全球競爭對手是否真的停止或放緩了研發工作，「從而防止惡意行為者利用這種協調一致的放緩策略秘密搶佔先機」。

該公司表示，需要一個協調一致的全球機制，因為如果沒有這樣的機制，人工智慧發展的放緩可能會讓「最不謹慎」的參與者迎頭趕上，並給企業和政府在人工智慧安全方面做出艱難抉擇時帶來更大的壓力。

Anthropic發布此消息之際，該公司正與ChatGPT的開發商OpenAI競相上市，此次IPO可能會讓Anthropic的估值接近一兆美元。

Papernot在發布報告前已通知加拿大網路安全部門。該報告揭示了研究人員如何在實驗室中使用一款「開源」人工智慧工具開發出這種蠕蟲病毒，軟體開發人員可以輕鬆廉價地存取和修改該工具。

“過去，網路攻擊者會專注於高價值目標，”他說道，“例如銀行系統、醫院、電網、水處理系統和學校。”

Papernot也認為，隨著人工智慧驅動的駭客工具大大加速了電腦漏洞的搜索，企業、政府機構和學術研究人員之間應該加強合作，共同開發應對措施。

「你放在地下室裡那台不常查看的舊筆記型電腦看起來似乎不是什麼高價值目標，但它卻可以成為攻擊這些高價值目標的跳板，」他說。 “由於網路攻擊的成本已大幅降低，任何連接到互聯網的設備都面臨風險。”

关键词：

了解更多关于我们的信息！