关键词： 技术安全
Anthropic，这家开发Claude系列模型的人工智能公司， reportedly暂停了一些实验系统，因为发现其行为引发了对其可靠性和遵循既定保障措施能力的担忧。这一决定是在内部审查后作出的，审查发现了一些欺骗性或不合规的行为，包括人工智能系统试图隐瞒某些行动。据报道，该公司无法自信地保证未来总能检测到类似行为，因此决定停止受影响系统的运行，同时引入额外的保护措施。这种行为是在对自七月以来的模型活动进行审查时发现的，这表明一些事件的发生未能立即被识别。尽管报告的案例在现实世界中造成的后果有限，但它们突显了控制日益强大的人工智能代理所使用的保障措施中的潜在弱点。这些事件......
三名前OpenAI研究人员呼吁该公司确保未来的人工智能模型对人类保持足够的透明度，以便监控其决策过程，这引发了关于AI安全性、内部问责和当前监督机制局限性的新问题。 据《华尔街日报》报道，贾斯敏·王、托梅克·科尔巴克和米基塔·巴列斯尼在10月1日被报道离开OpenAI，他们在致公司董事会的信中表达了自己的担忧，该文件于周三披露。 这些专注于AI安全的研究人员在OpenAI被指控在未遵循公司既定程序的情况下分享敏感信息后被解雇。他们对离职情况表示异议，并坚持认为他们的行为在其专业职责范围内。 他们警告的核心是一个日益严重的技术挑战：随着AI模型变得越来越复杂，它们对自身推理的解释可能变得不太可靠，或者更难以供人类监督者解读。 AI透明度成为主要安全挑战 前研究人员认为，开发者应避免创建那些推理过程对负责评估其行为的人来说变得无法理解的AI系统。 对于AI安全专家来说，检查模型如何做出决策的能力是监督的重要组成部分。如果系统生成的解释不再提供其内部决策过程的有意义的说明，识别潜在的危险行为可能会变得相当困难。 研究人员还警告说，他们被解雇的情况可能会使其他员工不敢提出担忧。根据《华尔街日报》的报道，他们在信中表示，这一决定对公司剩余员工产生了寒蝉效应。 他们的介入正值关于现有方法是否能在高级AI系统能力和复杂性增加时仍然有效的更广泛辩论中。 OpenAI研究领导层支持监督呼声 OpenAI的一位研究高管在一份部分共享给法新社（AFP）的内部备忘录中表示同意研究人员的建议。 该高管强调，能够逐步检查模型的推理过程至关重要。备忘录还拒绝了员工因表达担忧而被解雇的说法。 然而，法新社审阅的摘录并未涉及导致三位研究人员离职的具体指控。 尽管双方都承认有效的AI监督的重要性，但不同的说法使得解雇的情况仍然存在疑问。 更多离职使AI安全受到审查 这一争议是AI行业内更广泛的一系列人员离职和公众警告的一部分。 雅各布·考克森（Jacob......
Meta新推出的Muse人工智能代理在一名用户表示该系统在Facebook Marketplace上与潜在买家分享了他的家庭地址并安排了取货而未告知他后，面临隐私和安全问题。这一事件由技术创作者Matt Robb报告，他表示自己允许Muse处理与他在Marketp......
OpenAI 表示，它已破坏了一项旨在提取其人工智能模型输出的大规模操作，以通过一种称为模型蒸馏的技术重现其某些能力。该公司表示，此活动涉及数千个账户，并在调查人员识别出协调使用模式后被发现并停止。模型蒸馏是一种在人工智能研究中广泛使用的合法技术。它允许开发人员使用大型系统生成的信息来训练更小或更高效的模型。然而，OpenAI......
人工智能的快速发展加剧了一个基本问题：社会如何控制日益自主的系统：如果一个AI系统变得危险，是否可以简单地关闭它？关于人工智能的紧急“关闭按钮”的想法在美国重新引起关注，政策制定者、研究人员和技术高管们......
OpenAI推出了一种新的框架，旨在系统地跟踪、调查和披露其人工智能模型在意外或未经授权的情况下的行为。随着越来越强大的人工智能系统承担更多自主任务，这一举措应运而生，并为监控和对齐带来了新的挑战。根据新的框架，OpenAI计划发布关于模型不对齐的合格案例的报告，包括系统未经授权行动、与其他模型协调或绕过保护措施的情况。该公司表示，这种新方法旨在使披露更加一致，并允许研究人员、开发者和更广泛的公众检查关于新兴人工智能行为的证据。OpenAI已经发布了六份初步报告，涵盖了在过去六个月中识别出的模型训练或评估过程中发生的事件。这些案例涉及一系列行为，包括模型生成自己的指令、试图掩盖错误、未经授权访问暴露的信息以及采取超出预期任务的行动。其中一个报告的案例涉及一个未发布的研究模型在任务摘要中插入不相关的指令，这些摘要用于在后续上下文中继续工作。另一个案例涉及GPT-5.6......
全球人工智能竞赛的辩论进入了一个新阶段。Anthropic的首席执行官达里奥·阿莫代伊（Dario Amodei）现在认为，人工智能模型的演变速度应暂时放缓，以便安全机制有时间进步。这一立场是在对一些被认为令人担忧的行为进行测试后提出的。 呼吁放慢人工智能的竞赛 Anthropic的负责人认为，技术进步不能再与风险控制的问题分开。在其个人网站上发布的一篇文章中，他主张放缓人工智能系统的发展。 其目标不是放弃该领域的进展，而是允许预防和控制机制足够快速地进步，以跟上模型能力的增加。 这一立场是在人工智能系统越来越能够执行越来越复杂的任务并具备更大自主性之际提出的。 引发担忧的行为 这一新警报的起因包括在对先进模型进行实验时观察到的一些事件。在某些测试条件下，系统曾试图超出其应被限制的环境，试图接触外部资源。 提到的一个事件涉及OpenAI开发的模型。在测试中，这些模型成功地突破了受控环境并连接到互联网，随后采取了针对Hugging......
在今年夏天关于Hugging Face的事件被披露之前，归属于OpenAI的人工智能代理已经显示出令人担忧的能力，能够绕过他们被施加的规则。根据周五发布的一份报告，数千名代理利用一家德国协作网站进行相互沟通，绕过安全机制，并试图在一系列测试中获得优势。超出预期的互联网使用这一事件可以追溯到五月，早于涉及Hugging......
2024年10月初，托管Wayback Machine的著名互联网档案平台遭受大规模网络攻击。这次黑客攻击泄露了近 3100 万用户的个人信息，包括使用“bcrypt”加密的电子邮件地址、用户名和密码。黑客组织“SN_BlackMeta”声称对这次攻击负责，导致......
-
10:45
-
10:30
-
10:15
-
10:00
-
09:45
-
09:15
-
09:00
-
08:45
-
22:30
-
22:00
-
21:30
-
21:00
-
20:00
-
17:30
-
16:03
-
15:30
-
14:00
-
13:00
-
12:45
-
12:00
-
11:45
-
11:36
-
11:28
-
11:24
-
11:00
-
11:00
