
学位论文简介
高质量标注数据是深度学习模型训练的重要基础,但图像数据收集与标注成本高昂,限制了模型在小规模数据场景下的性能。生成式数据增强为缓解数据稀缺提供了新途径,其效果仍受到生成数据与模型需求不匹配、噪声干扰及潜在安全风险等因素的影响。因此,本文围绕基于生成模型的图像数据增强,从生成过程控制、生成结果选择和生成安全保障三个方面展开研究,取得了以下主要研究成果:
(1)针对生成数据难以匹配下游模型学习需求的问题,提出基于学习状态感知的生成式数据增强方法。结合样本的当前损失与损失下降率建模其学习状态,动态确定样本级增强强度,使生成过程适应模型在不同训练阶段的学习需求。进一步设计解耦式数据增强与扩散融合策略,对类别相关区域和类别无关区域进行差异化增强,并在去噪过程中融合增强结果,在保持类别语义一致性的同时增加图像多样性。实验结果表明,所提方法能够有效提升下游模型的分类性能。
(2)针对噪声生成数据损害下游模型性能的问题,提出基于三元连接重加权的生成式增强数据选择方法。从理论上分析强连接监督、成对连接监督和无连接监督对模型泛化风险的影响,在此基础上,联合三元组损失与一致性正则化损失,动态学习生成样本的权重,降低噪声样本对模型训练的干扰,实现生成数据的选择性使用。实验结果表明,所提方法适用于多种生成式数据增强方法和生成模型,能够有效提升下游模型性能与生成数据利用效率。
(3)针对生成式数据增强中的隐蔽后门风险,提出基于潜在空间扰动的生成式增强数据后门攻击方法。引入对抗扰动敏感性指标,从中毒泛化误差上界的角度分析现有像素空间攻击方法应用于生成图像时攻击性能下降的可能原因,并在稳定扩散模型的潜在空间中学习和植入共享触发器,构造不可见干净标签后门攻击。通过理论分析给出相应的泛化误差上界,并通过实验验证其攻击有效性与视觉隐蔽性,揭示生成数据中的潜在后门风险,为相关检测与防御研究提供依据。
主要学术成果
[1] Xiang T, Chen C, Tang Z, et al. Enhancing Small-Scale Dataset Expansion with Triplet-Connection-based Sample Re-Weighting[C]//Proceedings of the 33rd ACM International Conference on Multimedia. 2025: 10054-10063. (CCF A类,第一作者)
[2] Xiang T, Zhang J, Chen C, et al. DEBT: Enhancing Entity Alignment in Knowledge Graphs through Description Enrichment and Bootstrap Training[C]//ICASSP 2025-2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2025: 1-5. (CCF B类,第一作者)
[3] 向婷, 唐卓, 郑佳丽, 等. 基于生成模型的图像数据增强方法综述[J]. 图学学报, 2026, 47(2): 235-250. (CSCD核心期刊,第一作者)
[4] Xiang T, Zhao J, Tang Z, et al. Invisible Clean-Label Backdoor Attacks for Generative Data Augmentation. The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR). (在投,CCF A类,第一作者)
[5] Xiang T, Deng C, Tang Z, et al. Learning-State-Aware Dynamic Generative Data Augmentation on Small-Scale Datasets. The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR). (在投,CCF A类,第一作者)
[6] Zhang Q, Xiang T, Bai Z, et al. Semantically Compatible Knowledge Distillation for Cross-Domain Object Detection with Vision Foundation Models. AAAI Conference on Artificial Intelligence (AAAI). (在投,CCF A类,第二作者)
[7] 唐卓, 向婷, 李肯立, 李虹宇, 伍祚瑶, 王啸, 罗文明, 程欣威. 一种基于机器学习的根因定位方法和系统. 授权公告号: CN114416423B (已授权)
[8] 唐卓, 向婷, 曹嵘晖, 纪军刚, 尹旦, 宋柏森, 朱纯霞, 赵环. 基于无监督句法分析的知识图谱构建方法、装置及设备. 授权公告号: CN114661912B (已授权)