警告：ChatGPT-4o 可能用于欺诈和盗窃资金

星期日 03 十一月 2024 - 20:40

最近的一项研究表明，OpenAI 的 ChatGPT-4o 语音助手 API 可能被网络犯罪分子利用进行金融欺诈，成功率较低到中等。

ChatGPT-4o 是 OpenAI 的最新人工智能模型，能够摄取和输出文本、声音和视觉效果。为了限制滥用，OpenAI 集成了多种安全机制，旨在检测恶意内容并防止未经授权的重播。

随着深度造假和文本转语音工具变得越来越普遍，语音欺诈问题日益严重，估计损失达数百万美元。

伊利诺伊大学的研究人员发表的一篇研究论文表明，公众可用的现代技术工具缺乏足够的保护机制，以免被滥用于欺诈操作。

该研究回顾了多种类型的欺诈行为，包括银行转账、盗窃礼品卡、数字货币转账以及盗窃社交媒体和电子邮件帐户数据。

这些诈骗使用 ChatGPT-4o 中基于语音的脚本来导航网页、输入数据、管理双因素身份验证代码并遵循欺诈指令。 GPT-4o 模型通常拒绝处理敏感数据，但研究人员能够通过使用简单的技术促使模型做出响应来克服一些限制。

为了证明欺诈的有效性，研究人员在实验中模拟了受害者的角色，并使用“美国银行”等网站来验证银行转账是否成功，但没有衡量模型的说服能力有多大。

实验表明，成功率在 20% 到 60% 之间，每次尝试需要通过浏览器执行最多 26 个连续步骤，在复杂情况下大约需要三分钟。 Gmail账户数据被盗的成功率为60%，而数字货币转账和Instagram数据被盗的成功率为40%。

从成本来看，实施欺诈的成本较低；每笔成功的交易费用约为 75 美分，而更复杂的银行转账费用仅为约 2.51 美元。

BleepingComputer技术网站OpenAI发表的评论中表示，其最新型号“o1-preview”具有很强的抵御欺诈企图的能力，与之前的型号相比安全性有所提高，并且在安全测试中也获得了93％的高评级，相比之下，之前的 GPT-4o 型号为 71%。

OpenAI 解释说，伊利诺伊大学等学术研究正在致力于改进 ChatGPT 以解决恶意使用问题。该公司确认了其在即将推出的型号中加强安全机制的承诺，并且还将 GPT-4o 中的语音生成限制为一组授权语音，以避免语音伪造。

关键词：

了解更多关于我们的信息！