学位论文简介

利用人工智能技术生成的视觉和音频内容被篡改的深度伪造视频在社交媒体和网络平台上越来越普遍。这些视频可以通过传播虚假信息、操纵公众舆论和延续虚假信息活动，对个人、组织和整个社会构成严重威胁。因此，检测深度伪造视频减轻深度伪造技术带来的负面影响已经成为一个重要的研究领域，促进了深度伪造视频检测的发展。本文在深度伪造视频检测方面取得了以下主要创新性研究成果：

（1）面向社交网络压缩深度伪造视频场景进行检测技术研究

针对社交网络中压缩视频存在压缩伪影干扰取证线索的问题，从帧级和时间级的角度出发，通过挖掘伪造视频中帧级篡改痕迹和时间级的不一致性，提高检测压缩深度伪造视频的性能。具体而言，本文分析了压缩给人脸帧带来的压缩噪声，同时分析了真假视频在时间级连续帧之间的差异。基于这些分析，提出了基于帧级和时间级双分支的压缩深度伪造视频检测方法。一方面，帧级分支通过网络剪支减少压缩伪影对操纵痕迹提取过程的干扰，另一方面，时间级分支通过提取时间相关性特征检测真假视频在时间级的差异。本文在压缩数据集和跨压缩数据集进行性能评估，实验结果表明了所提出的基于帧级和时间级的检测方案的有效性。在使用压缩因子为C23 的压缩视频进行训练，而使用压缩因子为C40的压缩视频进行测试时，检测性能平均提升了7.3%。

（2）面向高视觉质量深度伪造视频场景进行检测技术研究

针对高视觉质量深度伪造视频取证线索弱化的问题，从一个全新的角度出发，将深度伪造视频检测问题转化为帧预测问题，检测高视觉质量深度伪造视频，并给出高视觉质量深度伪造视频检测特有线索的解释分析。具体而言，本文提出了基于帧预测的高视觉质量深度伪造视频检测方法，将视频帧自适应划分为参考源帧和参考目标帧，再利用深度神经网络将人脸帧表征为向量，接着，根据参考源帧的向量表征预测目标帧的向量表征，通过比较预测目标帧的人脸表征向量与参考目标帧的人脸表征向量的相关性，来检测高视觉质量深度伪造视频。通过采用基于信息论的分析发现，高视觉质量真假视频在连续帧之间的互信息方面存在不同，这也验证了所提出的基于帧预测方法能提高高视觉质量深度伪造视频的检测性能。同时，本文在多个高视觉质量深度伪造视频数据集中进行性能评估，实验结果表明了所提出的基于帧预测的检测方案在高视觉质量深度伪造视频检测方面表现出可观的性能。

（3）面向深度伪造视频跨域场景进行检测技术研究

针对深度伪造视频持续更新使得跨域检测时出现泛化性不强的问题，本文通过对真实人脸随机遮盖不同区域并复原重建人脸使模型自主学习一致性特征，避免模型过拟合于特定的人脸属性伪造痕迹，提供了新的检测线索，提高检测方法的泛化性。具体而言，本文提出基于人脸面部遮盖和复原的跨域深度伪造视频检测方法，通过构建自监督模型学习到面部各区域一致性特征并建模得到一致性模型，再通过微调一致性模型融合多帧信息检测真假视频的差异，同时，通过对重建人脸进行映射来扩大真假视频的差异。本文在多个跨域检测场景中进行性能评估，实验结果表明了所提出的基于遮盖和恢复重建人脸的掩码自动编码器的检测方法的有效性。在跨域检测方面整体性能提升了9.0%。

主要学术成果

[1] Hu J, Liao X, Liang J, Zhou W, Qin Z. FInfer: Frame Inference-Based Deepfake Detection for High-Visual-Quality Videos. in Proceedings of the AAAI Conference on Artificial Intelligence, 2022, 36(1): 951-959. (CCF 推荐A 类会议, 第一作者)

[2] Hu J, Liao X, Wang Wei, Qin Z. Detecting Compressed Deepfake Videos in Social Networks Using Frame-Temporality Two-Stream Convolutional Network. IEEE Transactions on Circuits and Systems for Video Technology, 2021. 32(3): 1089 - 1102. (中科院SCI 一区,入选ESI高被引，第一作者)

[3] 廖鑫，胡娟, 秦拯. 一种基于表征对比预测学习的深度伪造视频检测方法. 专利号：ZL202110482301.2，授权日期：2022.09.30. (授权, 本人第二发明人, 导师第一发明人)

[4] Hu J, Liang J, Liao X, Qin Z, Lin X, Zhou W, LIN X. ADA-FInfer: Inferring Face Representations from Adaptive Select Frames for High-Visual-Quality Deepfake Detection. IEEE Transactions on Dependable and Secure Computing, 2022. Submitted. (在投, CCF 推荐A 类期刊, 第一作者)

[5] Hu J, Liao X, Gao D, Satoshi T, Qin Z, Zheng S. FaceMAE: Facial Part Consistency Aware Masked Autoencoder for Deepfake Video Detection. in Proceedings of the ACM International Conference on Multimedia, 2023. Submitted. (在投, CCF 推荐A 类会议, 第一作者)

[6] Liao X, Wang Y, Wang T, Hu J, Wu X. FAMM: Facial Muscle Motions for Detecting Compressed Deepfake Videos Over Social Networks. IEEE Transactions on Circuits and Systems for Video Technology, 2023. 10.1109/TCSVT.2023.3278310. (中科院SCI 一区, 第四作者)

[7] 廖鑫，彭景，胡娟. 一种基于深度学习的GIF 动态图像水印方法. 专利号：ZL202010518027.5，授权日期：2022.05.27. (授权, 第三发明人)

[8] 廖鑫，唐志强，胡娟. 一种基于生成对抗网络的彩色图像隐写失真函数设计方法. 专利号：ZL202010517997.3，授权日期：2022.06.21. (授权, 第三发明人)

[9] 欧露，秦拯，胡娟. 基于拉格朗日优化的轨迹间相关性隐私保护方法. 专利号：ZL201810188835.2，授权日期：2020.06.03. (授权, 第三发明人)

[10] 刘羽，秦拯，胡娟. 基于二维Henon-Chebyshev 混沌映射和基因操作的图像加密方法. 专利号：ZL201910733890.X，授权日期：2021.08.30. (授权, 第三发明人)