学位论文简介
本文以直方图作为引导和监督，设计网络模拟了色彩拾取操作。探究了全局色彩主题和局部色彩点与像素区域之间的相关关系，并研究了交互信息对着色结果的影响及其融合过程。以光流作为色彩传播的基础，探索了图像着色模型应用于视频着色任务的可能性。最后，以图像生成模型为前提，探索了基于预训练模型的图像着色方法。主要创新如下：
针对样例着色方法的不稳定性问题，提出了一种全局直方图引导的着色模型。提出了一种语义感知的着色网络，使用两个分支提取灰度图像和全局直方图的信息，并为二者建立匹配关系。提出将可微直方图用于监督着色结果的色彩。
针对不同模态用户输入的融合问题，提出了基于语义感知和门控融合的着色框架。显式地建立色彩与语义的匹配关系，增强感知能力的同时解耦全局与局部信息。提出了基于门控机制的融合模块，利用色彩语义匹配度来解决多模态输入的色彩冲突问题。
针对交互式视频着色的时间一致性问题，提出一种特征修正方案。提出了记录着色状态的记忆模块，并提出了一个特征修正模块，利用记忆状态和最新一帧的着色结果对特征进行修正，以达到色彩一致性目的。
针对着色的多样性问题，提出一个基于预训模型的渐进式图像着色框架。提出了一个色彩引导网络用于控制基于扩散模型的图像生成模块。提出了一种引导信息的提取方法，在精细化着色阶段保持色彩风格并融合局部输入。
主要学术成果
Zhang Jie, Xiao Yi, Chen Guo, Sun Qingping, Xu Fangqiang, Leung Chi-Sing. Histogram-Guided Semantic-Aware Colorization. 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore, Singapore, 2022: 2549-2553, doi: 10.1109/ICASSP43922.2022.9747119. (第一作者 CCF B)
Zhang Jie, Xiao Yi, Zheng Yan, Wang Zhenni, Leung Chi-Sing. Semantic-Aware Gated Fusion Network For Interactive Colorization. 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Rhodes Island, Greece, 2023: 1-5, doi: 10.1109/ICASSP49357.2023.10094771. (第一作者 CCF B)
Zhang Jie, Xiao Yi, Qiao Jinhao, Sun Qingping, Zheng Yan, Leung Chi-Sing. Interactive Video Colorization with Memory Units and Feature Correction. IEEE Transactions on Consumer Electronics, 2024, doi: 10.1109/TCE.2024.3514111. (第一作者，SCI，Early Access)
Xiao Yi, Wu Jin, Zhang Jie, Zheng Yan, Leung Chi-Sing, Ladislav Kavan. Interactive Deep Colorization and its Application for Image Compression. IEEE Transactions on Visualization and Computer Graphics, 2020: 1557-1572, doi: 10.1109/TVCG.2020.3021510. (通信作者，SCI)
Sun Qingping, Xiao Yi, Zhang Jie, Zhou Shizhe, Leung Chi-Sing, Su Xin. A Local Correspondence-Aware Hybrid CNN-GCN Model for Single-Image Human Body Reconstruction. IEEE Transactions on Multimedia, 2022: 4679-4690, doi: 10.1109/TMM.2022.3180218. (第三作者，SCI )
