模拟音频数字化的过程不包括(警惕AI深度合成击穿风险底线)

Posted 2023-05-30

篇首语：太斤斤计较的人，不适合恋爱，适合买菜。本文由小常识网(cha138.com)小编为大家整理，主要介绍了模拟音频数字化的过程不包括(警惕AI深度合成击穿风险底线)相关的知识，希望对你有一定的参考价值。

模拟音频数字化的过程不包括(警惕AI深度合成击穿风险底线)

半月谈记者张漫子张超

一段视频、一段语音，未必是真人拍摄或录制，在你不知道的手机App后台、支付界面、门禁闸机，或许有人正在盗刷你的脸。随着人工智能（AI）深度合成技术日益精湛，合成的音频、视频等伪造内容越来越能以假乱真。毫无疑问，我们生活的现实世界正在面临技术滥用的风险与挑战。

盗刷人脸、篡改声音，那都不叫事儿

近两年来，在浙江、安徽、江苏等地，多名盗取个人信息的犯罪嫌疑人被公安部门抓获。犯罪嫌疑人作案流程极为雷同：先是非法获取他人照片或有偿收购他人声音等“物料”，然后利用人工智能技术将照片“活化”、合成动态视频，之后或直接骗过社交平台、支付宝账户的人脸核验机制，进行非法获利；或骗过手机卡注册过程中的人工审核环节，继而利用他人名下的手机号进行电信网络诈骗、网络赌博等，使被收集信息的人遭受安全威胁和财产损失。

一张陌生人的图片，如何“活化”成为视频？

半月谈记者在清华大学人工智能研究院实验室的演示电脑前看到，一张刚从微信朋友圈中下载的陌生人的正脸静态照片导入电脑后，在技术人员的操作下，照片上的人物可瞬间“活”起来，根据指令做出相应的眨眼、张嘴、皱眉等精细动作和表情变化，并在短短十几秒内生成流畅视频。

“完成由静到动这一驱动操作的技术叫深度合成技术，是人工智能内容合成技术的一种。”清华大学人工智能研究院工程师萧子豪说，深度合成技术已经衍生出包括图像合成、视频合成、声音合成、文本生成等多种技术。

在技术加持下，盗刷人脸不再是难事。在手机卡注册、银行卡申请、支付软件登录等需要人脸动态识别的环节，这些伪造的合成视频可协助不法分子通过后台审核验证。

技术人员向半月谈记者演示了声音合成的操作。几段60秒的陌生人语音通过深度合成技术，即可生成“不用打卡，直接微信转账给我吧”“今天你不用去接孩子了。我就在学校附近，顺路去接孩子”等语音，效果如同真人发出的声音。这种声音合成令人“细思极恐”。

深度合成正瓦解“眼见为实”

在国内外内容平台、社交平台上，深度合成内容呈现“量质齐升”。其中合成的影视剧片段、话题人物的换脸视频等因具有较强娱乐性而被大量传播。

清华大学人工智能研究院、北京瑞莱智慧科技有限公司、清华大学智媒研究中心、国家工业信息安全发展研究中心、北京市大数据中心联合发布的《深度合成十大趋势报告（2022）》显示，2017年至2021年国内外主流音视频网站、社交媒体平台上，深度合成视频数量的年均增长率超过77.8%。2021年新发布的深度合成视频数量是2017年的11倍。与此同时，深度合成内容的曝光度、关注度、传播力也呈指数级增长，2021年新发布深度合成视频的点赞数已超3亿次。

“网上流传的视频、语音，未必是真人拍摄或录制。”浙江大学网络空间安全学院院长任奎说，是全脸合成、音频合成，还是真实拍摄录制，许多时候凭借人眼难以分辨。

清华大学计算机系教授、人工智能研究院基础理论研究中心主任朱军认为，深度合成技术正在改变信息传播内容信任链的底层逻辑和复杂程度，风险隐患在迅速加大。一方面，“眼见为实”的定义发生改变。尽管公众对照片等静态信息易被篡改已有认知，但对视频、声音等动态信息仍持有较高信任度，深度合成技术再次瓦解了“眼见为实”的信任逻辑。二是短视频的广泛传播，使深度合成技术的滥用产生了较大范围的影响力和破坏力。

清华大学苏世民书院院长、教授薛澜认为，当深度合成等人工智能技术走向“滥用”，就会带来一系列的伦理和治理问题：轻则侵犯个人财产安全、伤害个人尊严和隐私，重则威胁国家安全、影响社会稳定。

引导技术向善，完善AI风险治理体系

技术是一把双刃剑。用好这把双刃剑，既不能让技术成为脱缰的野马，也不能让技术创新原地踏步。

从善用技术的角度，中国工程院院士、信息技术专家邬贺铨提出，对于技术的新应用、新发展，不能“一刀切式”地禁止和干预，以免阻碍其创新。而应当从源头上解决技术衍生的安全问题，利用技术创新、技术对抗等方式，持续提升和迭代检测技术的能力。

朱军认为，当前针对深度合成应用的检测技术仍处于探索阶段，手段尚不成熟。建议充分发挥科研院所、科技企业等力量，尽快形成有效、高效的深度合成应用技术检测能力，以在舆论战、信息战中争取技术优势。

从风险治理的角度，国家工业信息安全发展研究中心副总工程师邱惠君指出，近年来的数字化转型倒逼多国人工智能安全风险治理落地。欧盟率先在人工智能领域开展了立法，基于风险分析的方法，重点明确针对高风险人工智能系统的监管框架。

“人工智能安全包括数据安全、框架安全、算法安全、模型安全、运营安全等组成部分。对此，我们应当构建‘规定+标准+法律’的一体化治理规则体系，出台风险治理的指南、标准、评估规范，在条件具备时完善立法。”邱惠君建议，重点围绕数据、算法、模型和运维的角度，一是构建数据采集质量规范；二是根据应用场景对人工智能进行系统风险分级分类；三是建立安全责任体系，明确设计开发单位、运维单位、数据提供方的各自责任。

中伦律师事务所合伙人陈际红表示，打击“变脸”诈骗犯罪，应从技术的合法使用边界、技术的安全评估程序、滥用技术的法律规制等方面予以规范，提高技术滥用的违法成本。

朱军提示，公众应当对深度合成新技术、新应用形成正确认知，对其不良应用提高防范意识，保护好个人声纹、照片等信息，不轻易提供人脸、指纹、虹膜等个人生物信息给他人。

来源：半月谈