警惕！美国发生多起AI语音诈骗案件，联邦机构将加强监管

通过美国软件公司ElevenLabs的网站，只需花费1美元，然后上传任何人的一段简短音频，5分钟后，你就能让这个声音说你指定的任何话了。

显然，这种生成性人工智能（AI）系统使得诈骗变得更容易了。美国联邦贸易委员会（FTC）已经发出警告，一些不良人士正在利用AI语音技术伪造紧急情况，骗取关心自己的亲人交出现金或私人信息。在疫情期间，这种骗局暴涨了70%。

根据美国联邦调查局（FBI）的一份最新报告，美国人2022年因网上诈骗和数字欺诈损失的钱财超过100亿美元。

这种现象已经引起美国立法机构的注意。近日，美国参议院老龄化特别委员会主席凯西（Bob Casey）等参议员联合致信FTC主席可汗（Bob Casey），要求该机构提供保护美国老年人免受AI相关欺诈的计划和政策。

生成性AI与语音诈骗

根据FTC的数据，2022年，冒名顶替诈骗是美国第二大流行骗局，关于人们被冒牌朋友或家人欺骗的事件超过36000起。FTC官员说，这些事件中有5100多起是通过电话发生的，造成的损失超过1100万美元。

AI的进步使这种诈骗更加难以分辨。世界经济论坛研究与分析主管布鲁内曼（Gretchen Bueermann）在一篇报告中称，现今AI算法（包括生成模型）创造出的内容与真实图像、视频或音频记录几乎难以区分。这些算法获得成本也较低，并且能够通过非常容易获得的数据库进行训练。

在AI电话诈骗的案例中，通过声音克隆技术，一旦骗子在网上找到某个人的声音片段，就能轻松将其上传到复制声音的网站上，骗子可以利用这一声音“说出”他们输入的任何内容。事实上，这种应用几年前就出现了，但在生成性AI的热潮下，这种技术已经得到了改进，且更加容易获取和便宜。

据美媒报道，Murf、Resemble和Speechify等提供这种服务的公司有免费试用期，每月订阅费用从不到15美元的基础套餐到100美元以上的高级套餐不等。

“这很可怕，具备酿成大祸的所有条件。”美国加州大学伯克利分校的数字取证学教授法里德（Hany Farid）称，“AI生成软件会分析一个人的声音中独特的因素，包括年龄、性别和口音，并搜索庞大的声音数据库，找到类似的声音并预测模式。”

“相关软件可以利用这些信息重新创建一个人的音高、音色和单音素发音，最终创造出一个类似的整体声音效果。”法里德解释说，“两年前，甚至一年前，你需要大量的音频来克隆一个人的声音。现在，如果你录制了一条短视频，里面出现了30秒你的声音，人们就可以克隆你的声音。”

根据全球最大的专业安全技术公司迈克菲的调查，十分之一的受访者称他们收到过来自AI语音克隆的信息，其中77%的受害者说他们因此而损失了钱。在被骗取钱财的受害者中，36%的人损失在500美元到3000美元之间，而7%的人被骗金额在5000到15000美元（约合人民币10.5万元）之间。另外，迈克菲的调查发现，53%的成年人称每周都会在网上或在录音笔记中分享他们的语音数据，49%的人这样做的频率多达每周10次。所有这些活动产生的语音记录都可能会受到黑客攻击、盗窃或分享（无论是意外还是恶意地有意）。

联邦机构开始监管行动

AI诈骗的应用可能非常广泛。据布鲁内曼引述的数据，2022年，有66%的网络安全从业者在其组织内经历过深度伪造（Deepfake）的攻击。“在过去的一年里，26%的小公司和38%的大公司经历了深层造假欺诈，导致损失高达48万美元。”她称，到2026年，多达90%的网络内容都将可能是AI合成的。

研究表明，银行业特别关注这种深度伪造攻击。92%的网络从业者担心这种技术被滥用于欺诈，涉及个人银行和支付等服务时尤其令人担忧。这种担忧并非毫无根据，2021年，一位银行经理被骗将3500万美元转移到一个欺诈性账户。

布鲁内曼说，深度伪造甚至有可能破坏选举结果，威胁社会稳定和国家安全。在某些情况下，深度伪造被用来操纵舆论或传播假新闻，导致公众的不信任和混乱。

目前，美国两党已对此表示关注。美国参议院老龄化特别委员会中的共和党一把手布劳恩（Mike Braun）称，该委员会已经设置一条针对老年人诈骗案件的热线，他预计很快就会开始听到关于声音克隆技术的投诉。该委员会收集的报告可以为立法工作提供参考。他称，华盛顿在未来可能会对AI采取更多监管措施。

FTC也表示，该机构将利用其权力，尽可能地保护消费者免受AI的影响。但FTC营销实践部助理主任马克森（Will Maxson）说，追踪语音诈骗者可能“特别困难”，因为他们可能使用世界上任何地方的电话，甚至很难确定哪个机构对某个特定案件有管辖权。马克森敦促人们提高警惕。

从技术角度，布鲁内曼建议，为了应对这些新出现的威胁，必须继续开发和改进深度伪造检测技术。这可能需要使用更复杂的算法，以及开发新的方法，根据其背景、元数据或其他因素来识别深度伪造。

布鲁内曼认为，为了减少这些恶意活动的影响，同时也应促进媒体素养的提高，并培养大众的批判性思维，教育公众了解深度伪造的危险以及如何识别它们。“最后，我们必须考虑AI和深度伪造技术的道德影响。政府和监管机构可以在制定政策方面发挥重要作用，监管深层伪造技术，促进透明、可信赖和负责任的技术开发和应用。这样，我们才可以确保AI不会造成伤害。”她称。