英伟达推出新安全层以加强人工智能代理的保护措施

昨天 17:17

英伟达推出了一种开源安全平台，旨在为开发者和企业提供更大的控制权，以应对自主人工智能代理在软件、网络和企业环境中执行任务的能力不断增强。

这一名为NVIDIA OpenShell的倡议旨在围绕人工智能代理设置安全控制，而不是仅仅依赖于模型本身内置的保护措施。该公司将OpenShell描述为一种安全运行时，允许自主代理在隔离环境中运行，并明确规定它们可以访问和执行的内容。

随着人工智能代理超越文本生成和回答问题的能力，现代代理能够读取文件、使用外部工具、执行代码、与应用程序互动并访问商业系统，这在给予持久权限或访问敏感资源时带来了新的安全挑战。

OpenShell通过沙盒和基于策略的控制来应对这些风险，涵盖代理操作环境的多个部分。根据英伟达的说法，该系统可以限制对文件、网络连接和进程的访问，同时保持允许和阻止的操作的审计记录。

该平台的一个核心原则是将关键的安全控制保持在人工智能代理之外。这意味着即使代理的行为出乎意料或其内部保护措施被绕过，周围运行时施加的限制仍然可以继续限制其能够执行的操作。

该平台还可以调节网络活动，防止代理到达未经授权的目的地。文件系统控制旨在限制对声明位置的访问，而进程级保护可以阻止获取额外权限或执行潜在危险操作的尝试。

英伟达认为，这种方法对于长期运行的自主系统尤其相关。与传统的聊天机器人不同，代理可能会长时间运行，使用多个工具并与外部服务互动，增加了被攻破或配置错误系统的潜在后果。

OpenShell是英伟达更广泛努力的一部分，旨在为自主人工智能构建基础设施。该公司还开发了NemoClaw，将代理部署工具与OpenShell的沙盒和政策控制结合在一起。最近的更新扩展了生命周期管理、网络政策、凭证保护和监控能力。

专门的代理安全基础设施的出现反映了人工智能行业的更广泛转变。随着公司尝试能够在有限人类监督下执行多步骤任务的系统，控制权限、凭证和对企业数据的访问正成为部署策略的重要组成部分。

对于企业而言，挑战在于允许人工智能代理足够的访问权限以执行有用的工作，同时不赋予它们对敏感系统的无限制控制。英伟达的方法旨在通过将代理的能力与其运行环境施加的安全边界分离来解决这一平衡。

对代理安全的日益关注也突显了与人工智能相关的风险正在发生变化。随着人工智能系统获得采取行动的能力，而不仅仅是提供信息，保护周围基础设施变得与评估模型本身同样重要。OpenShell代表了在用于部署自主代理的架构中建立这一额外保护层的尝试。

关键词：

了解更多关于我们的信息！