学位论文简介
近几年，基于深度学习的图像去雾研究得到了广泛的重视，但是提出的深度图像去雾模型通常都需要大量的含雾图像及其对应的清晰参考图像组成的图像对进行训练。然而，收集这样的自然采集的图像对是非常困难的。为此，目前的深度去雾模型通常采用合成的雾图像进行训练，但现有的合成雾图像存在缺乏深度感知、多样性不足等问题，制约了图像去雾模型的性能。其次，图像去雾需要进行客观的评价，以促进图像去雾研究，尤其是根据不同的应用选择合适的图像去雾方法/模型。此外，图像去雾是一种图像处理操作，从图像内容安全的角度看也可被视为是一种图像篡改操作。因此，本文围绕图像去雾，研究雾图像生成、自然雾图像数据集构建、深度图像去雾、图像去雾的客观评价和图像去雾的被动检测。具体地，本文的主要工作和创新成果包括：
考虑到自然雾图像在视觉上雾密度与场景深度相关，提出了一个基于生成对抗网络雾图像生成模型HazeGAN，用于生成具有场景深度感知的、逼真的雾图像。HazeGAN包含了深度估计网络，并且结合大气散射模型，得到多尺度的图像特征，再将这些特征嵌入到生成对抗网络，以生成具有深度感知的雾图像。实验结果表明，HazeGAN模型生成的雾图像，雾密度随着场景深度变化，视觉效果更加真实。利用它生成的合成雾图像数据集，可以为深度去雾模型的训练提供更好的数据集支撑，有助于提升深度去雾模型的鲁棒性等性能。
针对深度图像去雾大规模训练数据收集费时费力的问题，提出了一个基于自监督学习的图像去雾框架SSID，设计了伪标签生成器自动生成训练数据，无需额外的人工标签，极大简化了模型的训练。考虑到真实雾天环境下同一场景雾的分布是多变的，提出利用自定义的深度图合成雾天图像，对于任意一幅清晰图像，生成多个具有不同雾分布的雾天图像，以丰富雾天图像的多样性。其次，SSID具有通用性，现有的深度去雾模型能够基于此框架进行自监督训练，无需手工收集训练数据。实验结果表明，SSID去雾性能远超现有无监督去雾模型，并且可以媲美全监督去雾模型。
构建了一个新的自然采集的雾图像数据集RW-HAZE，包括210对雾图像和干净参考图像。该数据集是通过安装在山顶的用于天气监测的摄像头进行图像采集得到的，可以保持图像对在物理空间上对齐，并且一幅清晰参考图像对应有多幅雾浓度不同的雾图像。此外，通过精心地选择图像捕获的场景和时间间隔，保证图像对只有天气轻微变化引起的背景差异，其余部分尽可能地保持不变。该数据集显著不同于现有的BeDDE等数据集，既可以用于训练深度图像去雾模型，提升其在自然雾图像上的泛化性能，也可以用于全参考图像去雾质量评价。
结合图像去雾的领域知识，提出了一个基于迁移学习的去雾图像的全参考质量评价模型DehIQA。其中，迁移学习的源任务是利用分类网络对清晰图像和雾图像进行二分类，使得分类网络通过训练学习到与雾相关的特征；目标任务则是利用分类网络的特征提取层，提取雾图像和参考图像的特征，并进行相似度测量得到一个去雾图像的质量因子。此外，考虑到真实雾图像的雾分布不均匀，原始雾图像雾浓度越大的区域，去雾过程越容易产生失真。为此，提出了一个雾注意力模块，使得该模型重点关注去雾图像中可能存在失真的区域。该模型可以解决深度去雾图像质量评价模型需要大量的标签数据的问题。实验结果表明，与现有的Realness Index和Visibility Index等评价指标相比，DehIQA的评价结果更加符合人类视觉感知质量，并且鲁棒性更强。
图像去雾操作通常用于增强图像的视觉感知质量，但也可以用于图像的恶意篡改，这些图像颠覆了人们“眼见为实”的观念。通过分析雾天图像形成机理以及去雾图像的特征，观察到图像去雾过程中其光照一致性遭到破坏，并留下伪影，且这种伪影在逆强度色度空间被放大。为此，提出了一个图像去雾操作的被动检测双流模型DDNet，该模型通过RGB流和逆强度色度流分别进行特征提取。此外，设计了一种自适应特征融合方法，利用单流网络的损失值作为反馈，自适应调节双流网络的权重系数，提升两种特征的互补性。实验结果表明，DDNet不仅取得了较高的图像去雾操作检测精度，而且有较强的鲁棒性能。
主要学术成果
Chen J, Yang G, Xia M, et al. From depth-aware haze generation to real-world haze removal[J]. Neural Computing and Applications, 2022: 1-13.（CCF-C类期刊，第一作者）
Chen J, Yang G, Xia M, et al. HDNet: A dual-stream network with progressive fusion for image hazing detection[J]. Journal of Information Security and Applications, 2022, 69: 103271.（CCF-C类期刊，第一作者）
Chen J, Yang G, Ding X, et al. Robust detection of dehazed images via dual-stream CNNs with adaptive feature fusion[J]. Computer Vision and Image Understanding, 2022, 217: 103357.（CCF-B类期刊，第一作者)
Chen J, Wang S, Liu X, et al. RW-HAZE: A Real-World Benchmark Dataset to Evaluate Quantitatively Dehazing Algorithms[C]//2022 IEEE International Conference on Image Processing (ICIP). IEEE, 2022: 11-15.（CCF-C类期刊，第一作者)
Chen J, Yang G, Zhao H, et al. Audio style transfer using shallow convolutional networks and random filters[J]. Multimedia Tools and Applications, 2020, 79: 15043-15057.（CCF-C类期刊，第一作者)
Z. Guo, G. Yang, J. Chen and X. Sun, ”Exposing Deepfake Face Forgeries with Guided Residuals,” in IEEE Transactions on Multimedia, doi:10.1109/TMM.2023.3-237169. （CCF-A类期刊，第三作者)
