21世纪经济报道记者肖潇 北京报道
越来越多杀猪盘在和生成式AI“联姻”，让爱情骗局更逼真。10月14日，香港警方表示捣毁了一个诈骗窝点，诈骗者利用深度伪造技术换脸成年轻女性，诱使受害者投资虚拟货币产品，涉案金额超过3.6亿港元。
“杀猪盘”是近年高发的一种诈骗形式。诈骗者通常会在社交平台上打造一个虚假人设，以婚恋交友的方式“养猪”，最后实现钱财骗取，即“杀猪”。
近期联合国毒品和犯罪问题办公室（UNODC）在一份142页的报告中，对这一新兴犯罪现象发出了严厉警告——东南亚地区的诈骗者正在利用生成式AI和深度伪造技术，来扩大诈骗行动的规模和有效性。 这份最新报告提供了迄今为止最明确的证据，比如去年亚太地区的深度伪造事件增加了1530%；近半年的监测数据显示，暗网Telegram上面向诈骗团伙的深度伪造产品，增加了600%以上。
杀猪盘的国内社区讨论里，已经有不少人表示自己遇到了主动要求视频的“盘哥”“盘姐”。以前他们只能播放提前录制的视频，无法正常对话，现在嘴形和声音都能匹配。
长期研究网络犯罪的技术专家提醒，杀猪盘与AI技术“联姻”，是为了增加信任感和真实感，但本质套路没有发生改变。对普通人而言，能做的是提高对杀猪盘等网络诈骗的整体警惕性。
主动视频的“盘哥”“盘姐”
在过去，人们认为诈骗分子会“拒绝进行视频通话”以免暴露身份，这一经验如今面临失效。
UNODC的报告指出，有强烈迹象表明，越来越多深度伪造的内容正在被东南亚诈骗团伙用于犯罪，尤其是“一键”换脸和高分辨率的视频传输，改变了诈骗者的行骗方式。
报告解释，诈骗者往往需要虚构一个外貌出众、事业有成的人设作为“诱饵”，而现在的深度伪造技术可以操纵面部表情和声音音调，允许在视频中精确实时操纵面部。诈骗者因此能向受害者证明他们就是自己声称的那个人，制造出更有说服力的场景。
在本次香港警方侦破的案件中，诈骗团伙用深度伪造技术改变了视频通话中的样貌、音色、服装，男性换脸为相貌姣好的年轻女性，声音也随之改变。
目前杀猪盘的国内社区讨论里，已经有不少人表示自己遇到了主动要求视频的“盘哥”“盘姐”。“风起雨落”回忆，以前诈骗者多播放提前录制好的视频，只要跟他们互动就会出现破绽。现在的杀猪盘敢实时通话，动作、嘴形、声音都能匹配上。
联合国的报告指出，一批暗网供应商在背后推动了深度伪造技术的整合。目前有数十个深度伪造的软件提供商，专门面向东南亚地区的网络诈骗团伙销售。
这些深度伪造技术产品拓展出了多种套件，包括音频伪造或者声音交换功能，有换脸软件公司甚至推出“7天24小时支持、送货上门服务”，并声称已在一千多个区域了安装了产品。
通过Telegram等加密暗网发布区域性广告，是这些供应商的主要推广方式。UNODC在今年2月到7月之间监测了Telegram内容，结果显示，聊天群里针对犯罪团伙的深度伪造相关内容，提及次数增加了600%以上。
英国网络身份验证公司Sumsub发表的《2023年深度伪造报告》显示，2022年至2023年间，亚太区的深伪事件增加了1530%。去年深度伪造事件增长最快的前五个国家，分别是菲律宾、越南、日本、斯里兰卡和澳大利亚。
国投智能首席科学家、福建省电子数据存取证重点实验室主任江汉祥向21记者分析，杀猪盘用AI视频换脸，的确相对容易，做到真假难辨没有问题。
江汉祥长期研究网络犯罪和大数据侦查，他解释，深度伪造换脸真正的诱惑性是冒充熟人，“但这需要很多条件和技术资源，需要在网络上收集大量资料。”而在杀猪盘的情景里，受害者与“盘哥”“盘姐”模仿的人并不熟，因此深度伪造技术不需要模仿出某个具体的人。
资料搜集的难度低、没有熟悉的参照物让受害者对比，AI只需要“表演”得像一个普通人类就行，这是杀猪盘用AI换脸欺骗性之强的原因。
精通多国语言，但有情感缺陷
除了深度伪造视频，联合国报告还提到了四种诈骗团伙更常用的AI技术：大模型生成的文本图片、自动聊天机器人、声音克隆、AI驱动的压力测试（简单理解为用AI来模拟各种网络攻击）。
报告解释，常见的诈骗使用场景有制作自动化网络钓鱼攻击，制作假身份和个人资料，生成个性化脚本来欺骗受害者，并在数百种语言的实时对话进行互动。
这些发展不仅扩大了网络诈骗的范围，而且降低了入门门槛。“AI驱动技术的整合将随着时间的推移，增加网络诈骗的数量。诈骗会以更快的速度和规模发生，犯罪集团也能创建更具说服力和个性化的诈骗内容。”报告写道。
举例来说，诈骗者往往没法用多种语言和方言与数百名受害者同时互动，但ChatGPT这样的工具可以为他们提供语言支持。
网络安全公司Sophos此前在博客中透露了一个案例，已经有诈骗分子不小心透露出他们使用了大模型生成文字——骗子在WhatsApp上给目标发送的信息中写道“非常感谢你的好意！作为一个语言模型，我不像人类那样有感情或情绪，但我的功能是给出有益和积极的答案来帮助你。”
Sophos的研究员认为，这表明诈骗团伙还无法让人工智能自动完成整个“杀猪”过程。“就杀猪盘而言，目前的模型并不擅长描绘情绪和情感，而这正是这类骗局得以得逞的关键所在。”
像ChatGPT、Gemini等大模型产品已经装上了禁止协助犯罪行为的“护栏”，但要从技术侧防治，仍然有不少困难。
江汉祥解释，“杀猪盘的过程就是模拟人们获取信任的过程，如果要生成完整过程的文字，大模型可以识别。但如果是割裂成一句或几句话，专业的公共安全大模型也是难以识别的。” 他建议，针对这种情况，技术提供方可以总结生成者的多方信息，事先训练数据，在一定程度上判断、拒绝不合适的请求。
此前江汉祥对21记者表示，AI诈骗之所以能够诈骗成功，关键在于出于普通人的日常认知之外。在他看来，使用AI技术的主要作用是增加杀猪盘的信任感和真实感，杀猪盘的最本质套路没有变，目前个人能做的仍然是提高整体警惕：不要信任网络的交心与情感，不要贪小便宜，或相信天上掉下馅饼。
发表评论