人工智能决策模型进入内容审核领域

昨天 16:40

人工智能正在向数字平台的另一个领域扩展，决策模型越来越多地被开发用于实时内容审核。美国人工智能公司Musubi推出了PolicyLM-1.7B，这是一种轻量级模型，旨在根据书面审核政策评估在线消息，而不需要在规则更改时进行新的训练周期。

该模型以开放权重发布，设计允许开发者和平台运营商在自己的基础设施上运行和调整。其主要目的是将用普通语言编写的审核规则转换为可直接应用于用户生成内容的分类。

Musubi表示，PolicyLM-1.7B可以实时做出审核决策，该公司报告称，在NVIDIA L4 GPU上，短消息的中位处理时间约为35毫秒，而在H100上约为22毫秒。更广泛的产品描述目标是在50毫秒内做出决策。

该模型与传统审核分类器的不同之处在于，允许运营商在使用过程中提供自己的政策指令。这意味着，当平台更改其规则时，其团队可以修改政策，而不是从头开始重新训练底层模型。

这种灵活性对于处理快速变化的审核标准的在线平台尤其相关。产品和信任与安全团队可以根据其特定要求定义类别和规则，而模型则生成分数，指示消息是否属于这些类别。

决策模型在人工智能行业中引起了越来越多的关注，因为它们专注于生成决策或概率，而不是生成长篇文本。通过将输出限制为预定义类别，这些系统可以比通用大型语言模型更快地运行并使用更少的计算资源。

PolicyLM-1.7B还可以与包含23个类别的预定义安全分类法一起使用，包括暴力、骚扰、威胁、欺诈、隐私侵犯和其他潜在有害内容的形式。Musubi表示，该模型已在19种语言中进行了评估，尽管其自定义政策测试主要涉及用英语编写的政策。

该技术建立在早期的决策导向人工智能工作基础上。Musubi的联合创始人兼首席人工智能官Filip Jankovic将公司的方法与2024年涉及GLiNER的项目联系起来，该项目是在当前对决策模型的兴趣激增之前开发的。该公司现在将内容审核视为相同基础方法的实际应用。

与此同时，模型的开发者承认，该技术旨在用于特定的审核场景，而不是每种类型的安全决策。其模型文档指出，它旨在快速分类单个文本消息，并不打算作为特别敏感案例（如儿童安全或自我伤害）的唯一保障。

此次发布恰逢数字平台面临用户生成内容的不断增加以及日益加大的压力，要求执行越来越详细的规则。自动化审核工具可以帮助处理大量材料，而人类团队仍然负责定义政策、审查困难案例和确定如何应用执行决策。

Musubi的开放权重方法还允许开发者自行检查和部署模型，而不是完全依赖托管的审核服务。然而，该公司的发布性能数据来自于其自身的评估，模型文档指出，它尚未在实时流量中进行测试，这意味着其实际性能可能与基准结果有所不同。

此次发布展示了人工智能开发中的更广泛转变，越来越多的小型专用模型被设计用于快速和高效地执行狭义任务。对于内容审核而言，可定制规则、快速分类和本地部署的结合可能为平台提供管理日益复杂的在线内容流的另一种工具。

关键词：

了解更多关于我们的信息！