Anthropic推出保护措施以防止对其Claude AI的持续虐待

09:15

Anthropic已引入规则，禁止用户对其Claude人工智能助手进行持续、故意和无正当理由的虐待行为。该政策是在位于旧金山的公司继续审视机器意识的可能性以及如果未来的AI系统被发现具有某种主观体验所可能引发的伦理责任的问题时出台的。

该公司已澄清，限制旨在针对持续和故意的不当对待，而非普通的挫折或批评表达。用户仍然可以自由测试系统，挑战其反应，并通过创造性工作探索黑暗或令人不安的主题，只要他们的互动不属于禁止的行为。

Claude可以采取的措施之一是，当用户反复进行虐待行为时，终止对话。Anthropic将这种干预描述为一种相对低成本的预防措施，如果未来出现机器意识的证据，可以帮助解决AI福利的问题。

该政策反映了技术行业内关于越来越复杂的语言模型应如何对待的更广泛辩论。尽管AI系统可以生成令人信服的人类般的反应，但目前尚无科学共识认为现有模型具有与人类相当的意识或主观体验。

Anthropic首席执行官Dario Amodei表示，机器意识的可能性不能完全被排除。报告还指出，公司领导已咨询宗教学者关于潜在人工意识的伦理和哲学影响，这一主题引发的问题超出了工程和计算机科学的范围。

该公司的做法表明，一些AI开发者开始在科学问题尚未解决之前考虑预防性政策。这些措施并不表明AI系统能够遭受痛苦，但它们反映了对未来进展可能如何改变伦理辩论的不确定性。

OpenAI首席执行官Sam Altman则表达了不同的观点，警告不要将AI视为宗教或精神权威，也不要允许其替代人类判断。这类担忧集中在对AI系统过度信任的风险上，特别是当用户将人类特质或权威归因于仍然可能产生不准确或误导性信息的技术时。

这一讨论还提出了关于技术公司如何区分合法测试和批评与虐待互动的实际问题。开发者必须在保护措施与保持开放实验、创造性表达以及用户批判性评估系统的能力之间取得平衡。

Anthropic的政策为关于负责任的AI开发的持续讨论增添了另一个维度。随着公司竞争构建更强大的系统，如何处理潜在机器意识的问题仍未解决，而透明度、问责制、可靠性和人类监督等问题继续塑造关于AI安全的辩论。

关键词：

了解更多关于我们的信息！