人工智能工具为骗子提供了一种强大的武器，可以试图欺骗人们给他们汇款。
今年春天，佛罗里达州的投资者克莱夫·卡巴茨尼克(Clive Kabatznik)打电话给他在当地的美国银行代表，讨论他计划进行的一笔大笔转账。然后他又打来电话。
不过第二个电话不是卡巴茨尼克打来的。相反，一个软件程序人工生成了他的声音，并试图欺骗银行家将钱转移到其他地方。
卡巴茨尼克和他的银行家是一种尖端骗局的目标，这种骗局引起了网络安全专家的注意:利用人工智能生成语音深度伪造，即模仿真人声音的声音再现。
这个问题仍然很新，以至于没有一个全面的统计方法来说明它发生的频率。但Pindrop公司的一位专家表示，他发现今年语音欺诈的流行程度大幅上升，诈骗者的语音欺诈手段也越来越复杂。Pindrop公司为美国许多大型银行监控音频流量。去年年底，另一家大型语音认证供应商Nuance首次成功地对一家金融服务客户实施了深度伪造攻击。
在卡巴茨尼克的案例中，欺诈行为是可以察觉到的。但技术发展的速度、生成式人工智能程序成本的下降，以及互联网上人们声音录音的广泛可用性，为语音相关的人工智能骗局创造了完美的条件。
被黑客窃取的客户数据，如银行账户详细信息——在地下市场上随处可见——有助于骗子实施这些攻击。有了富有的客户，他们的公开露面，包括演讲，往往可以在互联网上广泛获取。为日常客户寻找音频样本也可以像在线搜索一样简单——比如在TikTok和Instagram等社交媒体应用程序上搜索某人的名字——骗子已经掌握了此人的银行账户信息。
Pindrop首席执行官兼创始人维贾伊•巴拉苏布拉马尼扬(Vijay Balasubramaniyan)表示:“市面上有很多音频内容。”该公司为美国十大银行中的八家审阅自动语音验证系统。
在过去十年中，Pindrop审查了其服务的金融公司运营的呼叫中心接到的50多亿通电话的录音。这些中心处理银行账户、信用卡等产品，以及大型零售银行提供的其他服务。所有的呼叫中心都接到诈骗犯的电话，通常每年有1000到10000个。Balasubramaniyan说，每周接到20个诈骗电话是很常见的。
他说，到目前为止，由计算机程序产生的假声音只占这些电话的“一小部分”，而且它们是在去年才开始发生的。
Pindrop发现的大多数虚假语音攻击都发生在信用卡服务呼叫中心，在那里，人工代表与需要帮助的客户处理信用卡。
巴拉苏布拉马尼扬向记者播放了一段3月份发生的这类电话的匿名录音。尽管这是一个非常初级的例子——在这个例子中，声音听起来像机器人，更像电子阅读器，而不是人的声音——但这个电话说明了随着人工智能使模仿人类声音变得更容易，骗局是如何发生的。
可以听到一位银行家在招呼这位顾客。然后，一个类似于自动语音的声音说:“我的卡被拒绝了。”
“请问您是哪位?”银行家回答。
“我的卡被拒绝了，”那个声音又说。
银行家又问了一遍客户的名字。接着是一阵沉默，在此期间可以听到微弱的键盘敲击声。根据Balasubramaniyan的说法，按键的次数与客户姓名中的字母数量相对应。欺诈者将单词输入到一个程序中，然后该程序读取这些单词。
Balasubramaniyan说，在这种情况下，来电者的合成语音导致员工将电话转到另一个部门，并将其标记为潜在的欺诈行为。
他分享的这类电话使用了打字转文本技术，是最容易防御的攻击之一:呼叫中心可以使用筛选软件来获取语音是机器生成的技术线索。
语音生物识别技术供应商IngenID的首席执行官彼得•苏弗勒里斯表示:“合成语音会留下伪音，很多反欺骗算法会把这些伪音清除掉。”
但是，与许多安全措施一样，这是一场攻击者和防御者之间的军备竞赛，而且是最近才发展起来的。现在，骗子只需对着麦克风说话或输入提示，就能很快将其翻译成目标的声音。
Balasubramaniyan指出，一个生成式人工智能系统，微软的VALL-E，可以创建一个深度语音，只需使用三秒钟的采样音频，就能说出用户想说的话。
今年5月，在《60分钟》节目中，安全顾问雷切尔·托巴克(Rachel Tobac)使用软件令人信服地克隆出了该节目记者之一莎琳·阿方西(Sharyn Alfonsi)的声音，骗过了《60分钟》的一名员工，让她说出了阿方西的护照号码。
SocialProof Security的首席执行官托巴克说，这次攻击只花了五分钟就完成了。她使用的工具在一月份就可以买到。
语音技术供应商Nuance的安全和生物识别总经理布雷特·贝拉内克(Brett Beranek)表示，尽管可怕的深度伪造演示是安全会议的主要内容，但现实生活中的攻击仍然极为罕见。Nuance于2021年被微软收购。唯一一次成功入侵Nuance客户的事件发生在去年10月，攻击者花了十几次尝试才成功。
贝拉内克最担心的不是呼叫中心或自动系统受到攻击，比如许多银行已经部署的语音生物识别系统。他担心来电者直接联系到个人的诈骗。
“就在本周早些时候，我与我们的一位客户进行了一次交谈，”他说。“他们说，嘿，布雷特，我们的联络中心安全了，这很好——但如果有人冒充别人直接用手机打电话给我们的首席执行官，怎么办?”
这就是卡巴兹尼克的情况。根据银行家的描述，他似乎试图让她把钱转到一个新的地方，但那个声音是重复的，用混乱的短语对她说话。银行家挂断了电话。
“就像我在和她说话，但这毫无意义，”卡巴茨尼克说她告诉过他。(美国银行发言人拒绝让这位银行家接受采访。)
Kabatznik说，在接连接到两个类似的电话后，这位银行家向美国银行的安全团队报告了此事。由于担心卡巴兹尼克账户的安全，她不再回复他的电话和电子邮件——即使是那些来自真正的卡巴兹尼克的。两人花了大约10天的时间重新建立了联系，卡巴茨尼克安排去她的办公室拜访她。
美国银行发言人威廉·霍尔丁(William Halldin)表示:“我们定期培训我们的团队，以识别和识别骗局，并帮助我们的客户避开它们。”他说，他不能评论具体的客户或他们的体验。
尽管这些攻击变得越来越复杂，但它们源于一个已经存在了几十年的基本网络安全威胁:泄露银行客户个人信息的数据泄露。根据联邦贸易委员会(Federal Trade Commission)的数据，从2020年到2022年，超过3亿人的个人数据落入黑客之手，造成88亿美元的损失。
一旦他们收集了一批号码，黑客就会筛选信息，并将其与真实的人进行匹配。那些窃取信息的人几乎从来不是最终得到信息的人。相反，窃贼把它拿去卖了。专家可以使用少数几个容易获取的程序中的任何一个来欺骗目标客户的电话号码——这就是卡巴兹尼克案例中可能发生的事情。
他的录音很容易找到。互联网上有他在会议上发言和参加筹款活动的视频。
“我认为这很可怕，”卡巴茨尼克说。“问题是，我不知道你该怎么做。你就这样地下消失了吗?”
本文最初发表于《纽约时报》。
编剧:艾米丽·弗立特和史黛西·考利
摄影:Ariel Davis
©2023纽约时报
