警惕引流新套路 AI生成视频“以假乱真”暗藏误导风险

央视新闻4小时前

00:00 00:00

近年来，生成式人工智能技术被广泛应用，在为人们提供便利的同时，也让造谣者有了可乘之机。近期就有多起AI生成谣言在网络广泛传播，误导公众认知，破坏网络环境。

今年11月28日网友上传的一段视频，一名模特在展出的车辆旁边，衣着暴露，且做出不雅动作。而当天车企并没有安排模特为车辆宣传，车企选择报警。

12月10日，广州警方通报：“车展不雅视频”事件：李某为炫耀个人技术用AI生成虚假视频，被行拘10日。

珠峰装电梯、长城贴瓷砖、黄河设玻璃护栏是近几年出现的典型的网络谣言。不过最近，网络上珠峰装电梯视频依靠AI生成工具，制作得更加精良，再次席卷而来。

内容虽然荒唐，但是因为传播广泛，官方紧急辟谣，西藏相关部门称，目前珠峰暂无安装电梯计划，网传图文视频为AI生成的虚假信息。部分营销号利用AI伪造西藏各类打卡景点的虚假图文视频，用虚假话术吸引流量，提醒网民切勿相信此类谣言。

明确所有AI生成内容都要“亮明身份”

以上这些利用AI生成的谣言视频，效果都达到了“以假乱真”的程度，而且在发布传播的过程中，都没有标注AI生成标识，其结果就是，给网友错觉认为这是真的。

事实上，今年9月1日起，《人工智能生成合成内容标识办法》正式施行，明确所有AI生成的文字、图片、视频等内容都要“亮明身份”，标注AI生成的标识。通常人工智能生成的视频或者图片以及文字标识问题，涉及三个主体：AI生成工具，信息发布和发布信息的平台，每一个环节都应标注。

如何“打上”AI生成标识？

总台记者也针对AI生成标识的标注进行了演示。

总台央视记者崔世杰：我给AI工具一个提示，让他用雪山、湖泊和老虎制作一张图片，AI给的图片是这样的。这张图就是典型的人工智能生成的图片，AI标识在哪里呢，在图片的左上角写有AI生成字样，如果下载到手机中，标识会到右下角。

信息发布者如何在自己的发布的信息中打上AI制作的标识呢？以视频号为例，打开已经发布的信息，在下边找到这个箭头标记，点开，找到视频标注的选项点击，这里有几个选项、内容为AI制作、内容为虚构剧情，点AI制作。再看视频下方会有一行字，作者提示，内容为AI技术制作。

一些人为了博眼球将AI生成标识二次加工给去掉，发到平台上。这时候作为谣言散布的最后守门员，平台就要去识别，并且打上标识。刷短视频时一定看到过这样的文字，在视频下方写着内容可能使用了AI图像编辑技术，请注意甄别。这行字就是平台识别判断后加上去的。

平台如何检测AI生成内容？为何有漏网之鱼？

有了法律法规，技术上也会进行标注提示，为何网络平台还会出现此类谣言视频？记者走访了视频平台和AI生成研究团队，来看看为何会有部分AI生成谣言成为漏网之鱼，进而误导网友。

相关数据显示，短视频平台面对的是每天以亿为单位的网民上传的内容。

某平台生态运营经理陈咏月：目前，平台对AI生成内容的审核采用的是机审和人审相结合的方式，也在不断强化识别能力。具体来说，平台通过收集样本，利用AI能力，训练了多个对AIGC内容识别的模型，来识别一条视频内容是否是AI制作的。

那么具体AI识别工具在识别是否为AI生成的作品时，会留意哪些方面呢。

中国计算机学会计算机安全专委会执行委员潘季明：首先是针对文本的统计特征分析技术，寻找AI写作过于平稳、缺乏人味的“机器指纹”。其次是基于深度学习模型的检测技术，通过对特定生成算法的缺陷进行识别，分析像素和频域中存在的AI生成伪影，如纹理重复或特定图案。第三是多模态融合检测技术，利用大模型的通用理解能力来捕捉跨模态、高级语义上的不一致来实现。

不过平台和专家也坦言，现在的AI工具的识别能力，还无法做到完全准确，其主要原因AI生成工具在不断成熟，而AI识别工具始终处于追赶状态。这让AI谣言类信息未被检测出来难以避免。

陈咏月：但是技术在不断发展，模型识别的结果并不一定完全准确。

潘季明：现在主流的检测技术主要面临三大困难。一是存在理论瓶颈，随着AI模型能力不断增强，其输出的统计特征越来越接近人类高质量作品，导致理论上仅靠统计指标已无法区分，也就是概率分布重叠。其次是文本只需简单润色或同义词替换；图像只需压缩或截图就能破坏水印或伪影，使检测器失效。第三是泛化性不足，检测器通常是针对旧模型训练的，面对新的、未见过的AI生成模型，检测效果会显著下降，导致检测始终处于“滞后”状态。

AI提供者创作者及平台应共同防范AI滥用

专家表示，防范AI滥用不仅是识别工具技术更新问题，同时也要加速建立“数字信任生态体系”。