
学位论文简介
Kullback–Leibler(KL)散度是概率论、统计学、信息论和机器学习中度量概率分布差异的基本工具,广泛应用于概率模型训练、生成模型、变分推断、强化学习以及分布外(out-of-distribution,OOD)检测等领域。然而,KL散度不具有对称性,也不满足三角不等式,这使得基于已知KL散度关系进一步推导其他分布之间的关系存在困难。另一方面,以流模型为代表的深度生成模型通常采用高斯分布作为潜在空间先验,使高斯分布之间的KL散度性质以及KL散度在高斯参考分布扰动下的稳定性具有重要的理论与应用价值。围绕上述问题,本文研究KL散度在高斯分布族中的数学性质、KL散度在高斯扰动下的稳定性,并进一步研究其在基于流模型的OOD检测中的应用。
首先,针对KL散度不具有对称性和三角不等式的问题,本文系统研究高维高斯分布之间正向与反向KL散度的极值关系。
其次,针对上述结果要求参与比较的分布均为高斯分布这一限制,本文进一步研究KL散度在高斯参考分布受到扰动时的稳定性。
最后,面向基于流模型的OOD检测中似然异常以及静态统计量易受输入操控的问题,本文提出基于重构误差OOD检测方法REO。
本文从高斯分布之间KL散度的局部几何性质出发,进一步建立任意分布相对于高斯参考分布的KL散度稳定性理论,并将KL散度和高斯潜在空间结构用于流模型OOD检测,形成了从KL散度基础性质、稳定性理论到OOD检测方法的完整研究体系。相关结果为高斯分布条件下的概率分布关系推理以及开放环境中的可靠OOD检测提供了新的理论依据和方法支撑。
主要学术成果
[1] Jialu Pan, Yufeng Zhang, Nan Hu, Zhenbang Chen, Ji Wang, Keqin Li. Worst-Case Optimal -Rate Stability of KL Divergence under Perturbations of Gaussian Distributions[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2026.(本人第一作者,SCI,中科院一区;)
[2] Jialu Pan, Yufeng Zhang, Keqin Li. REO: Out-of-Distribution Detection with Flow-Based Generative Models[J]. Neurocomputing, 2026, 700:134478.(本人第一作者,SCI,中科院二区)
[3] Yufeng Zhang, Jialu Pan, Kenli Li, Wanwei Liu, Zhenbang Chen, Xinwang Liu, Ji Wang. On the Properties of Kullback-Leibler Divergence Between Multivariate Gaussian Distributions[C]. Advances in Neural Information Processing Systems (NeurIPS), 2023, 36.(本人第二作者,CCF A类国际会议)
[4] Yufeng Zhang, Jialu Pan, Wanwei Liu, Zhenbang Chen, Kenli Li, Ji Wang, Zhiming Liu, Hongmei Wei. Kullback-Leibler Divergence-Based Out-of-Distribution Detection With Flow-Based Generative Models[J]. IEEE Transactions on Knowledge and Data Engineering, 2024, 36(4):1683–1697.(本人第二作者,SCI,中科院二区)