“作恶”的人工智能还要人来治
有点数·数字经济工作室原创
作 者 | 有 叔
微信ID | yds_sh
一个家喻户晓的明星正在短视频平台上聊教育话题，猝不及防就打起了广告：“从小给孩子喝某某牌奶粉，聪明长得壮。”尽管表情和口型有点对不上，但声音却相似得出奇。仔细辨别之后才能发现，这是“AI换脸拟声”搞得鬼。
随着AI技术的更新迭代，为工作生活带来便利的同时，也给了犯罪分子可乘之机，“AI换脸拟声”诈骗、侵权案时有发生。在今年3·15国际消费者权益日来临之际，我们聊聊人工智能带来的消费乱象。
当诈骗与AI技术结合，应该如何应对？
“张文宏”正直播带货？AI助长了“信息蝗灾”
知名传染病学专家张文宏化身带货主播，在深夜直播，大肆推销某个牌子的蛋白棒？
不久前，某视频博主发布的视频中，“张文宏”医生强烈推销一款蛋白棒，让不少网友信以为真，一时销量近1200件。
面对这样明目张胆的侵权行为，张文宏随后作出回应称，视频是AI合成的：“我在发现这事后立即投诉过那个AI合成的视频，但这样的卖货账号不止一个，且一直在变，我多次向平台投诉但屡禁不绝，自己最后也没精力了。”
在此类直播中，幕后人员以AI技术利用张文宏的形象和声音，稍加编造话术进行“忽悠”，便可使得那些不知名、以次充好甚至假冒伪劣商品瞬间卖光。如果骗局被揭穿，他们就会重新再开账号进行直播带货。
“这些假的AI合成信息就像蝗灾一样，一次又一次发生，像漫天飞过来的蝗虫一样害人。很多不明真相的老百姓、特别是有些对AI不是很熟悉的、年纪较大的市民，就很容易相信。” 该涉事视频已从发布账号中移除，且该账号已被平台永久封禁。除了向平台投诉，张文宏也考虑求助警方，但对方看不见、摸不着，经常更换账号，很难找到准确的报警对象。
《2024人工智能安全报告》显示，2023年基于AI的深度伪造欺诈事件数量激增了3000%，AI合成视频正在成为别有用心之人引导舆论、敛财工具。看不着、摸不见、对得上……这些在AI合成视频中的优点转身一变，不断挑战人们“眼见为实”的认知底线，侵蚀消费者合法权益。
不只是张文宏，许多公众人物如教育专家李玫瑾、影视明星刘德华、靳东等都在不同场合呼吁过对“AI换脸拟声”加强监管，全国人大代表雷军在今年两会提出的建议中，就包括关于“AI换脸拟声”违法侵权的治理。
不管马云还是靳东，AI都能换脸拟声
误信“AI换脸拟声”的直播带货，从而买到假冒伪劣的商品，消费者权益不免受到损害，但更具危害性的是，利用人工智能技术进行的诈骗活动。据媒体报道，有人在社交平台用AI换脸成富商马云，视频连线获取网友信任，目标受众多为对AI缺乏认知的中老年人，之后再以“做扶贫项目”等为由骗取钱财。还有人在短视频平台上冒充演员靳东与中老年人接触，以需要钱拍戏为由诱使他人转账。
除了冒充公众人物，还有不法分子用AI模仿你身边的重要关系人，更是让人防不胜防。比如天津警方披露的一起AI诈骗案中，市民李先生此前收到了一条短信，对方自称是李先生单位的领导，要求加其社交软件详聊。加上好友后，对方便以有急事需要资金周转为由，要求李先生向其转账，还保证事后钱款一定返还。对方还主动打来视频电话。看到视频那头出现的确实是“领导”，李先生瞬间放下戒备，分3笔向对方汇款95万元。当天下午，李先生与朋友聊天时提起这件事，越想越觉得不对劲，于是报警。
接到报警后，天津警方迅速与银行开启联动机制，及时对3张银行卡进行紧急止付操作。银行成功冻结了涉案资金83万元。据民警介绍，不法分子利用AI技术，将他人的脸换成熟人或亲人的脸，冒充诈骗对象的重要关系人，通过合成“以假乱真”的视频或照片来实施诈骗。
香港警方也披露过一起多人“AI换脸”诈骗案，涉案金额高达2亿港元。据央视新闻报道，一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，并按照要求先后转账多次，将2亿港元分别转账15次，转到5个本地银行账户内。之后，其向总部查询才知道受骗。警方调查得知，这起案件中所谓的视频会议中只有受害人一个人是“真人”，其他“参会人员”都是经过“AI换脸”后的诈骗人员。
与AI换脸视频相比，AI合成语音在诈骗中更难辨别。全球安全技术公司迈克菲（McAfee）发布的调查报告指出，只需提供3-4秒的录音，网络上的免费AI工具就能生成相似度达到85%的克隆人声。在参与调查的7000多位全球受访者中，有70%的人不确定是否能分辨 AI 合成语音，而大约有10%的人遭遇过AI语音诈骗。
在社交媒体上，有不少留学生发帖表示曾遇到利用AI合成本人语音，对在国内的父母进行的诈骗。这些诈骗以绑架为名，放出AI合成的求救语音，同时利用时空差，在造成恐慌的心理下骗取大量金额。
预防信息泄露，用心识破AI骗局
我们从上面的案例不难看出，人工智能是把双刃剑。从细分行业来说，有越来越多的金融机构引入了人工智能来开展客户服务，这也给了不法分子可乘之机。有消费者接到自称是保险公司客服电话，要求提供银行卡信息并支付“续期保费”，结果被骗取钱财。在这背后，是不法分子利用人工智能模拟保险公司客服人员的声音或聊天机器人，通过电话联系消费者，诱导其泄露个人信息。
说到这里，我们发现当下利用 AI 技术的诈骗手段呈现出门槛更低，效果更逼真的趋势，那面对AI新型骗局的各类场景，我们应该如何提高防范意识和应对能力呢？
AI技术上确实能做到换脸、拟音，但要实现骗局，首先得收集到被换脸对象的个人身份信息、大量人脸照片、语音，通过AI生成以假乱真的音视频；窃取被换脸（声）对象的社交软件号码；掌握诈骗对象个人身信息，熟悉其社会关系等。这就提醒我们，要增强个人信息保护意识，不在社交平台上发布机票、证书、照片等包含姓名、身份证号、手机号、关键位置等个人信息的图片，不轻易提供人脸、指纹等生物信息给他人。
对一些冒充名人网络营销或者生成虚假新闻的，如何辨别，或者怎么识别是否AI换脸、变声呢？业内专家提醒，一方可以检查面部特征，观察表情、动作以及声音和口型的匹配度；另一方面，核实信息来源，让对方用手遮住面部或进行其他面部动作判断画面是否连贯。
AI合成视频往往在面部细节上存在较为显著缺陷：微表情缺失（如眼角细纹、嘴角抽动难以捕捉）、光影不匹配（轮廓和阴影过渡不符合光线反射规律）以及皮肤过于光滑（缺乏毛孔、纹理和瑕疵）。在眼神与表情方面，眼球运动机械化（转动不连贯、眨眼频率异常），面部表情僵硬（转换生硬、笑容缺乏真实感）。
虽然声音克隆技术近年来取得了显著进步，几乎能够达到以假乱真的程度。仔细听听可以发现，AI生成的语音通常更加流畅，语速更快，且较少出现‘额’‘嗯’‘也就是说’等语气词或停顿，听得多了，还是能识别出AI生成的声音。
结 语
AI乱象面前，消费者提高警惕的同时，政府监管也要跟得上、跑得快。我国相继颁布了《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等法律法规，目的就是规范AI应用。
AI技术要想造福于民，监管与提升大众防范意识必不可少。只有不断提高违法行骗成本与难度，提升公众鉴别真伪意识，才能杜绝AI技术沦为技术行骗的工具。
原文标题 : 315打假，该治治用AI挖出的骗局陷阱了 | 315有声音
