互联网虚假信息检测进展与展望

2018年3月，《科学》(Science)刊登的《虚假新闻的科学》(The Science of Fake News)^[1]一文指出：近年来虚假新闻的兴起，凸显出互联网时代现有的对抗错误信息制度和技术壁垒已经坍塌，迫切需要重建一个保证真实性的信息生态系统。

虚假信息由来已久，因2016年美国总统大选期间发生的“脸书假新闻”事件开始被广泛关注，又凭借从2017年末开始陆续出现的Deepfake^[2]（换脸图像视频生成方法）、DeepNude^[3]（裸体图像生成方法）等基于深度学习的伪造技术的快速发展引起了巨大恐慌。国际咨询公司Gartner在2017年底预测：到2020年，互联网虚假信息将面临泛滥之势，基于人工智能技术的造假能力将远超虚假信息检测的能力^[4]。

虚假信息在重大事件中尤其扮演着重要角色，不实信息会影响民众决策，甚至影响社会稳定。文献[5]指出，2016年美国总统大选前的一个月内，美国网民平均要接触1~3篇假新闻。2020年初，“新型冠状病毒肺炎”席卷全国，针对“辟谣”的百度搜索指数（2020年1月19~25日）与去年春节期间相比，增长了5.4倍；中科院计算所研发的虚假新闻自动检测平台“AI识谣”^[6]平均每天发现具有争议性的肺炎新闻200条；腾讯开发的以人工审核为主的事实查证平台“较真”针对肺炎新闻的特别版上线24小时，到达用户已超过4000万，服务次数超过1亿。

目前，互联网虚假信息已经成为引发全球关注的社会和科学问题。2019年，美国政府针对深度伪造技术召开了多次听证会，呼吁从立法和技术两个角度推动互联网虚假新闻的治理工作。立法方面，美国国会议员已提交多份相关立法提案，两项已经生效，其中《2019年深度伪造报告法案》(Deepfakes Report Act of 2019)^[7]因最具代表性而备受关注。在国内，国家互联网信息办公室于2019年11月29日发布了《网络音视频信息服务管理规定》^[8]，要求网络音视频信息服务提供者，应当具有与新技术新应用发展相适应的安全可控的技术保障，部署违法违规音视频和非真实音视频鉴别技术。技术方面，专家建议通过开展竞赛促进技术的研究、开发和商业化。自2017年开始，美国国防部高级研究计划署(DARPA)举办了名为媒体取证挑战(Media Forensics Challenge)的伪造图像和视频检测比赛^[9]；2019年12月，脸书(Facebook)、亚马逊(Amazon)和微软(Microsoft)等企业出资100万美元，举办深度伪造检测挑战赛 (Deepfake Detection Challenge)^[10]，希望快速推动虚假信息检测技术的发展，目前该比赛正在进行中。在国内，北京智源人工智能研究院联合中科院计算所于2019年末举办了“2019互联网虚假新闻检测挑战赛”^[11]和“2019虚假新闻检测学术论坛”，公布了目前业内规模最大的中文多模态虚假新闻数据集，鼓励研究人员探索基于多模态信息的虚假新闻自动检测方法。该比赛吸引了学术界及工业界的高度关注和积极参与：共有672支队伍参赛，涵盖了152家企业、159所国内高校和24所国外高校。赛后，我们总结了虚假信息检测技术目前的发展方向和水平，本文将介绍其中的重要观察和发现。

目前互联网上的虚假信息主要包括虚假文本、虚假图片和虚假视频三类^[12]（如图1所示）。

虚假文本，指带有错误断言的陈述或报道^[13]，是最早被研究的虚假信息模态。虚假文本自动检测方法的发展主要经历了三个阶段：2011年开始的基于专家知识的手工特征设计阶段，2016年开始的基于深度学习的数据驱动阶段，以及当前知识驱动和数据驱动相融合的探索阶段。

为实现虚假文本的自动化检测，Castillo等人^[14]于2011年首次提出利用手工特征的方法刻画虚假新闻，并结合传统机器学习方法对真假新闻进行分类。文中使用的手工特征包括：(1)语言学特征：包括词法特征和句法特征，如不同单词个数、关键词词频数、标点符号类型及词性标注等；(2)主题特征：对文档集构建主题模型，然后提取消息的话题特征、情感倾向特征等；(3)用户特征：用户的注册时间、关注者或粉丝数目和用户发布的历史消息数等；(4)传播特征：消息传播网络的特征，如转发网络的深度、初始节点数等。

基于手工特征的方法简单有效，但这些特征由先验知识指导设计而成，缺乏全面性和灵活性。随着深度学习技术的发展，研究人员开始利用深度模型自动学习数据的高层特征表达并进行分类，虚假新闻文本检测进入了纯数据驱动阶段。Ma等人^[15]首次将循环神经网络(Recurrent Neural Network, RNN)用于虚假新闻检测任务上，其性能超过了已有的手工特征模型，是深度学习技术在虚假新闻检测领域的首次成功尝试。在此基础上，Chen等人^[16]引入词级别注意力机制，让模型更加关注文本中具有区分性的部分；Yu等人^[17]提出利用卷积神经网络(Convolutional Neural Network, CNN)对新闻事件文本进行建模。由于大规模预训练模型的巨大进步，实用中逐渐用基于变换器的双向编码器表示模型(Bidirectional Encoder Representations from Transformers, BERT)^[18]等代替了之前的语言模型。这类预训练模型不需要深入理解虚假新闻的特点，仅靠模型中学习得到的丰富语言知识即可得到不错的效果，广泛应用于虚假文本检测任务。

尽管数据驱动方法效果明显，但其对任务特点理解不足，易学习到数据集高度相关的特征，泛化能力存在上限。因此，研究人员开始考虑将人类知识和数据特征相结合，用人类知识引导数据学习。Wang等人^[19]认为虚假信息存在不随主题影响的通用风格模式，因此他们在数据驱动模型的基础上，利用专家知识引入了事件对抗的部分，通过对真假新闻分类损失最小化以及事件分类损失最大化，引导模型学习与事件无关的通用特征。这篇论文开创了本领域利用人类先验知识引导模型学习的新思路。此后，Guo等人^[20]从情感角度探索了知识对虚假新闻检测的作用。观察发现，虚假新闻发布者经常通过两种方式煽动用户的情感来促进虚假新闻的传播，即信息本身描述带有强烈情感，或者信息关注的话题将引起强烈的社会情感。因此，文献[20]使用了双重情感融合模型，同时利用文本内容和评论的情感特征来检测虚假新闻。

虚假图片，一般指人工修改或合成的图片。随着Photoshop等图像编辑软件以及深度生成网络等技术的发展，图像篡改和合成的技术门槛变得越来越低，辨别虚假图像和真实图像变得越来越困难。现有的虚假图片检测方法主要包括基于手工特征的方法和基于深度学习的方法。基于手工特征的方法大多为基于虚假图像底层特征的分析，包括图像的物理属性（光照不连续^[21]、阴影不连续^[22]等），相机属性（传感器噪声^[23]、色差^[24]等），压缩痕迹^[25]（DCT系数、块状效应等）以及像素级属性（复制-粘贴^[26]、重采样^[27]等）。然而，基于手工特征的检测方法大多只能检测特定类型的篡改，因此，近年来研究人员开始利用深度学习的方法来解决通用篡改检测的问题。例如，Zhou等人^[28]提出了一个双流Faster R-CNN模型，同时利用RGB流和噪声流中丰富的篡改特征，实现了拼接、复制-粘贴和局部去除多种图像篡改类型的检测。

在社交媒体的富媒体化趋势下，虚假图片的定义得到了进一步的拓展。除篡改图片外，虚假新闻制造者经常将源自其他事件的真实图片作为编造的虚假新闻的配图，因此，Qi等人^[29]将虚假图片的定义扩展为虚假新闻的配图。根据图片是否经过故意篡改，虚假新闻配图可被分为篡改图片和误用图片两类（如图2所示）。篡改图片指使用工具故意进行像素级改动的图片，而误用图片一般指未经刻意修改，取自其他事件的真实图片。这两类图片都旨在配合文本信息，扭曲事实真相，使读者产生误解。因此，在检测社交媒体上的虚假图片时，应该综合考虑这两类虚假图片的特点。

现有研究主要利用经典信号特征（取证特征）、低层语义特征、高层语义特征以及情感语义特征等进行虚假新闻配图检测。如图3所示，随着抽象层次的不断升高，上述特征造假痕迹逐渐减轻，造假意图愈发显著。具体来说，经典信号特征（取证特征）旨在检测自然图像在成像后经历过哪些后操作。通过观察发现，虚假新闻中的篡改图片往往经历过拼接、拉伸、抹除等操作，而误用图片往往来源于互联网历史帖子，在下载、再上传过程中经历了重压缩。因此，模型可以利用取证特征检测这些后操作，通过判断图片的原创性推断对应新闻的真实性。MediaEval竞赛的多媒体内容验证(Verifying MultimediaUse)任务^[30]最早将取证特征用于虚假新闻检测，组织方提供了分块离散余弦变换(DCT)系数、块效应网格等作为特征。实践表明，在微博虚假新闻的数据集上，取证特征的检测效果较好。语义特征分为低层语义特征、高层语义特征以及情感语义特征等，一般由CNN的不同层抽取得到。从造假意图来看，虚假新闻的共同目的在于广泛传播。为实现该目的，造假者倾向于挑选或制作具有强烈视觉冲击力和情绪煽动性的图片^{[31, 32]}作为所编造的虚假新闻的配图。因此，模型可以利用图片的情感语义特征，通过判断图片是否具有通用的造假意图来推断对应新闻的真实性。除情感语义特征之外，低层语义特征（如局部纹理特征等）和高层语义特征（如物体、场景、动作等）在一定程度上可以反映图片的造假痕迹及造假意图^[33]，但是与经典信号特征及情感语义特征相比，该类特征在虚假新闻检测任务上起到的作用仍然有限。

相对于文字和图像，视频信息对现实记录的忠实度较高，造假时易露出破绽。然而，以Deepfake^[2]为代表的虚假视频生成技术的出现，使得无需专业经验的视频造假成为可能。在短短几年内，基于深度学习的视频生成技术已实现人脸^{[2, 34]}、声音^[35]甚至动作^[36]的生成或替换（如图4所示），为虚假新闻的创作提供了极大便利。以换脸视频生成技术Deepfake为例，其利用了自编码器良好的学习重建能力：在训练阶段，Deepfake对每张人脸使用共享参数的编码器进行编码，再输入独立的解码器进行人脸图像重建；而在生成阶段，其将人脸输入编码器进行编码，再将编码后的人脸特征输入目标人脸的解码器解码，解码得到的人脸既包含目标人脸的特征，又包含输入人脸的表情^[37]。

目前的检测方法仍聚焦于“换脸”技术检测，其思路主要有基于人脸先验知识和基于视频信号两种。基于人脸先验知识的方法试图寻找生成人脸与真实人脸之间细微的差异。这些差异一般是数据驱动下，生成模型对人脸先验知识建模不足造成的，包括不自然的眨眼动作^[39]、不一致的面部和头部的朝向^[40]、面部区域的视觉伪影^[41]、异常的人脸表示模型的神经元激活情况^[42]等。基于视频信号的方法关注生成过程中的操作带来的痕迹，如面部和周边区域的分辨率不一致^[43]、光响应非均匀性(PRNU)模式差异^[44]、帧间不一致性^{[45, 46]}等。

尽管已出现了众多工作，目前的检测方法还存在一定局限性：(1)易被攻破，在文献[39]发布几个月内，即有开发者成功生成了眨眼自然的虚假人脸视频；(2)迁移性差，大多数工作只针对特定生成模型，其迁移后性能往往出现大幅下降。在实际应用中，由于虚假视频的生成模型未知，检测模型需要具备更好的迁移性和通用性。

针对互联网虚假新闻检测问题，学术界已经形成了基于文本、图像、视频的单模态或多模态检测方案。目前，学术论文和评测结果汇报的准确率最高已达0.95，然而将这些模型在真实数据流中复现时，准确率仅在0.7左右，精度和速度很难满足实际应用需求。虽然，目前的虚假信息仍然主要依赖人工审核，但为了应对飞速发展的AI造假技术，未来采用算法自动检测是必然趋势。因此本文基于“AI识谣”系统^[6]中的340余万条真实数据进行分析，从解决真实应用场景中的虚假信息检测问题出发，提出未来虚假新闻检测的三个发展方向。

特定领域虚假新闻检测

现有工作主要建立在多领域混合数据上，没有关注领域之间的差异。这种差异主要体现在两个方面：

1.各领域的虚假信息数量高度不平衡。文献[13]中的推特(Twitter)虚假新闻数据分属于七个领域，其中33.4%属于政治类，而自然灾害类仅占1.6%；“智源-计算所”挑战赛数据集^[47]中将虚假新闻分为九类，最大类别为社会生活 (60.4%) ，最小类别为军事(1.2%)。

2.各领域的虚假信息特征分布差异明显。不同领域的新闻在传播速度、行文风格、情感响应等方面均存在差异。例如，财经商业类虚假新闻经常具有专业新闻的严谨风格；政治类虚假新闻的传播范围相对集中；健康类虚假新闻风格明显易引起恐慌情绪。

基于以上两点，在实际应用场景中，考虑虚假新闻的领域差异十分必要。迁移学习模型已在很多任务上取得了良好效果，未来工作可以从迁移方法入手，构建领域自适应的虚假新闻检测模型。

复杂环境下的虚假新闻检测

为了聚焦于核心问题，学术研究中一般使用高质量数据集，具有样本数量平衡、经去噪处理、蕴含丰富信息的特点。然而在实际应用环境中，要面对的问题更加复杂。

1. 真假样本不平衡。学术研究数据集的正负样本比通常是1:1，而我们对线上系统^[6]数据流抽样30天数据进行测算，最终确认为假的新闻只有3.5%，数据极度不平衡。简化的平衡数据集使得论文中的检测精度虚高，而模型只有在不平衡数据集中同样达到好的效果，才能真正推动虚假检测技术的实用。

2. 噪声大。除真假新闻外，真实数据流中往往包含各种类型的信息，如广告等无用信息、个人生活等没有核查价值(check-worthy)的信息、澄清帖等干扰检测的信息。特别是澄清帖，在一些数据集中被标为“假”，但澄清帖本身的特征与真新闻更相近，这种数据噪声给检测模型带来了更大挑战。面对海量数据，如何高效抽取真正有核查价值的样本十分关键。

3. 检测时效性要求高。新闻传播的时效性非常强，然而现有方法经常需要依赖丰富的数据（如一定数量的评论）。能否在假新闻生命周期的起始点（零评论、零转发）就做出检测，对及时遏制假新闻的传播意义重大。

4. 检测对象质量差。现有研究中使用的虚假图像和视频检测数据集一般由研究人员自行生成，质量较高，篡改痕迹可检测性好；而互联网上传播的虚假图像和视频往往经过多重压缩，质量较低，使得很多方法完全失效，性能较论文结果大幅下降。

多学科引导下的虚假新闻检测

互联网虚假信息的定义一直在不断演化中。从1944年社会心理学对“谣言”的定义^[48]，到2011年开始，计算机学科试图对虚假信息的边界进行客观量化，提出了一系列的定义方法^{[1, 14]}，如“谣言”(rumor)、“假消息”(misinformation)、“虚假信息”(disinformation)、“错误消息”(false news)和“虚假消息”(fake news)等，发现仅从数据挖掘的角度，很难准确刻画虚假信息的本质，从而无法对虚假信息进行有效建模。由于互联网虚假信息不仅是计算机科学的研究对象，它同样属于心理学、社会学、传播学、语言学等多学科的研究范畴。与纯数据驱动的方法相比，未来基于多学科的发现指导模型学习的方法，更可能利用有限的数据学习到更有效的模型。

曹　娟

CCF专业会员。中国科学院计算技术研究所研究员。主要研究方向为多媒体内容分析、人工智能安全。

caojuan@ict.ac.cn

盛　强

CCF学生会员。中国科学院计算技术研究所博士生。主要研究方向为互联网虚假信息检测。

shengqiang18z@ict.ac.cn

亓　鹏

中国科学院计算技术研究所博士生。主要研究方向为虚假信息检测、多媒体内容分析。

qipeng@ict.ac.cn