学位论文简介
人群计数与密度估计旨在从图像中预测人群数量与空间分布，是公共安全、智能交通和智慧城市等领域的重要技术支撑。本文聚焦RGB-T多模态图像人群计数与密度估计，围绕低光照退化、多模态空间错位和边缘计算资源受限三大核心挑战展开系统研究，并进一步延伸至模态缺失场景，主要工作及贡献如下：
针对低光照条件下可见光特征严重劣化和多模态表征学习受信息污染的问题，本文提出一种基于暗光域增强及多域渐进融合的RGB-T人群计数方法。引入Retinex理论设计暗光域增强模块，缓解可见光模态在暗光场景下的退化。构建多域渐进决策融合网络，实现模态特征的自适应渐进融合。提出多层次联合监督训练策略，显著提升模型在昼夜复杂光照下的计数稳定性与泛化能力。
为解决可见光与热红外图像因成像机制差异导致的空间错位和尺度不一致问题，本文将其建模为高阶跨模态特征聚合与多尺度对齐问题，并提出基于超图与混合注意力的RGB-T人群计数算法。引入超图神经网络设计超图特征聚合模块，在空间错位下实现鲁棒的全局特征聚合。构建混合注意力特征对齐模块，配合可学习位置编码，动态适应多尺度错位。提出结构一致性引导损失，从全局结构和边缘一致性两个层面强化模态间特征的结构保持，间接保障聚合与对齐质量。
针对现有多分支架构在边缘计算场景下参数量大、实时性差的应用瓶颈，本文创新性地将状态空间模型引入RGB-T人群计数，提出轻量化单流计数框架。探索单一骨干网络设计，从根本上避免了多流网络带来的额外参数量开销。设计跨模态交叉扫描聚合模块，以线性复杂度实现全局语义交互。提出图扫描融合模块，通过基于最小生成树的图状态空间模型动态建模局部结构依赖。所提方法实现了较高的吞吐率，充分验证了在资源受限场景下兼顾精度与性能的可行性。
针对RGB-T多模态人群计数在模态缺失场景下可见光模态不可用、仅能依赖热红外模态进行计数的需求，本文提出一种仅依赖热红外模态的鲁棒人群计数网络。设计上下文语义增强模块，抑制发热干扰物造成的误检并缓解低分辨率场景下的漏检。构建由点监督分支与密度回归分支构成的双分支特征金字塔网络，通过自适应响应函数强化两类任务的判别性特征表达。提出调和损失，联合贝叶斯损失、均方误差损失与计数损失协调多任务监督。提出方法在仅使用热红外模态的条件下取得了优于现有可见光方法与RGB-T多模态方法的计数精度。
主要学术成果
[1] Zuodong Niu, Guoqing Xiao, Huilong Pi, Shenghong Yang and Zhuo Tang. SONet: An Efficient, Lightweight, and Accurate RGB-T Crowd Counting Network for Smart City Edge Computing[J]. IEEE Internet of Things Journal, 2026, 13(14): 31908-31925. (第一作者, JCR Q1, SCI 二区 TOP, IF: 8.7)
[2] Zuodong Niu, Guoqing Xiao, Huilong Pi, Shenghong Yang, Zhuo Tang and Dazheng Liu. ThermalCC: Robust Crowd Counting by Relying Solely on UAV Thermal Imaging[J]. IEEE Transactions on Geoscience and Remote Sensing, 2026, 64: 5006515. (第一作者, JCR Q1, SCI 一区 TOP, IF: 9.4)
[3] Zuodong Niu, Huilong Pi, Guoqing Xiao, Shenghong Yang, Zhuo Tang and Dazheng Liu. Low-Light Domain Enhancement and Multidomain Progressive Fusion for RGB-T Day-Night Crowd Counting[J]. IEEE Internet of Things Journal, 2025, 12(20): 42533-42548. (第一作者, JCR Q1, SCI 二区 TOP, IF: 8.7)
[4] Zuodong Niu, Huilong Pi, Donglin Jing and Dazheng Liu. PII-GCNet: Lightweight Multi-Modal CNN Network for Efficient Crowd Counting and Localization in UAV RGB-T Images[J]. Electronics, 13(21): 4298. (第一作者, JCR Q3, SCI 三区, IF: 2.6)
