接通微信视频电话，你是否会怀疑屏幕对面说话的“好友”实则是个AI换脸的陌生人？

2023年5月8日，内蒙古自治区包头市公安局微信公众号“平安包头”发布了一起使用“AI换脸技术”进行电信诈骗的案件。福州市某科技公司法人代表郭先生的好友通过微信视频联系到他，称自己的朋友在外地投标，需要430万元保证金，想要借用郭先生公司的账户走账，并声称已经把钱打到郭先生的账户上。

基于视频聊天的信任，郭先生没有核实钱是否到账，就分两笔把430万元给对方转账过去。事后，郭先生拨打好友电话，对方说没有这回事，郭先生才意识到遇上了“高端”骗局，骗子通过智能AI换脸技术，佯装成好友对他实施了诈骗。目前，330多万元已被紧急止付，剩下93.16万元正在追缴中。

(相关资料图)

ChatGPT的走红，引发了新一轮对生成式AI技术的讨论热潮。一些人开始利用生成式AI技术牟利，甚至实施违法犯罪行为。针对上述诈骗案件，业内人士分析，诈骗团伙可能盗用了郭先生好友的微信号，并掌握了其朋友的图片和音视频等信息，以及对话风格等，以用来训练AI模型，成功实施了诈骗。

浙江大学网络空间安全学院院长任奎2022年4月接受新华社采访时表示，随着合成技术应用门槛的进一步降低，合成内容已模糊真实与伪造的边界。专家担心，科技界针对深度合成技术的识别能力，跑不过“伪造”技术的升级。

“换脸”成本低

打开网购平台和社交媒体，各类“AI换脸”软件教程、视频教学层出不穷，这也为其使用场景的泛化乃至被不法使用提供了便利条件。

界面新闻记者以购买者身份咨询一位销售“AI换脸”软件教程的客服。对方称，全套软件和教程分为400元和800元两档，后者作为高阶版能让换脸完成度更好。在对方展示的教学视频中，使用者只需要上传一张脸部照片，标注出五官位置并调整软件参数，一张“新脸”便应用在视频人物身上。客服称，换脸后的视频在各类场景中通过率高，人工审核也难辨真假。

清华大学人工智能研究院基础理论研究中心主任朱军此前接受新华社采访时称，目前公众对照片等静态信息易被篡改已有所警惕，但对视频、声音等动态信息内容仍持有较高信任度。深度合成技术飞速演进，已经让“眼见不再为实”，破解身份核验的难度会越来越低、耗时将越来越短。

除了生成式AI技术，被打包销售的个人信息则是AI网络诈骗中所需投喂的“原料”。

据报道，合肥警方在2021年抓捕了一个利用AI技术伪造人脸动态视频的涉案嫌疑团伙。在嫌疑人的电脑里，警方发现了十几个G的公民人脸数据，人脸照片和身份证照片分门别类存放在一个个文件夹里。民警介绍，身份证正反面照片、手持身份证照片、自拍照等被称为一套，成套照片被称为“料”，出售照片的人被称为“料商”，这些“料”在网上已转手多次，而“料”的主人却毫不知情。

犯罪嫌疑人马某交代，由于制作简单，一个视频价格仅为2至10元，“客户”往往是成百上千购买，牟利空间巨大。

对于这些公民照片信息的来源，北京京师律师事务所高级合伙人刘宏辉律师对界面新闻说，一些平台在注册或登录时要求用户上传人脸或身份证照片，这些个人信息极易被盗取和泄露，进而被犯罪分子利用。对此，在信息隐私极度缺乏的网络时代，公民自身也要尽量避免在社交媒体上过多暴露个人信息。

法律规制亟待细化

界面新闻注意到，2022年以来，媒体已报道多起“换脸”诈骗案。比如浙江衢州中级人民法院的一份刑事裁定书披露，2018年7月份开始，张某等人利用已非法获取的公民个人信息，运用技术手段骗过支付宝人脸识别认证，并使用公民个人信息注册支付宝账户，非法获利数万元。

微信、支付宝等作为换脸诈骗的承载平台，是否需要在此次事件中担责？刘宏辉接受界面新闻采访认为，此案件中平台并不生产实际内容，所以无需承担责任。但如果有人发现平台中存在诈骗行为并举报，及时做出处理是平台的责任。

在成为获利工具的路上，“AI换脸”技术还被应用于直播。近日，某短视频平台的一个直播间里，AI换脸后的“杨幂”“迪丽热巴”等女星正在直播带货。此举引发了人们关于肖像权的讨论。据称，这种“AI换脸”直播技术的全套价格为3.5万元。

刘宏辉对界面新闻表示，在没有经过对方授权情况下，“AI换脸”并运用于商业直播明显侵犯了对方的肖像权。而且，用作直播盈利还只是侵犯民事肖像权的问题，如果将其运作于违法事件，那就是刑事犯罪问题。

4月11日，国家互联网信息办公室起草了《生成式人工智能服务管理办法（征求意见稿）》并向社会公开征求意见，其中对数据合规性、生成内容合法性提出进一步要求。

其中提出，提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗， 尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。

中伦律师事务所合伙人陈际红接受新华社采访时还指出，目前法律规定，禁止利用信息技术手段伪造等方式侵害他人的肖像权，但技术如何使用算合理使用，哪些情形下应禁止使用等，没有具体规定；收集或收购个人声纹、照片，使用人脸、指纹、DNA、虹膜等个人生物信息等行为，在哪些范围内构成犯罪、将面临怎样的惩罚，需要司法裁判进一步给出明确指引。

多位专家提醒，针对花样翻新的“变脸”诈骗，公众要提高防范意识，不轻易提供人脸、指纹等个人生物信息给他人，不过度公开或分享动图、视频等；网络转账前要通过电话、视频等多种沟通渠道核验对方身份。一旦发现风险，及时报警求助。