学位论文简介

本论文以提升图神经网络表示能力为研究目标，主要工作内容和创新点如下：

1.提出了一个面向鲁棒图表示的可微图结构学习神经网络。针对现有大多数的图神经网络都假设初始图是完整和准确的，并将固定的初始图结构的应用于整个网络，本文提出了一个可微图结构学习神经网络DGSLN，旨在为图神经网络学习合适的图结构，以实现鲁棒的图表示学习。具体而言，本文首先提出了一种通用的图生成方案，该方案利用注意力机制从节点特征中学习自适应的图拓扑结构。随后，设计了一种可微的图稀疏操作来学习更合理的图结构，它可以将稠密图高效地转换为稀疏图。最后，开发了一种混合损失函数来确保学习到的图的质量，该函数结合了任务损失函数和图正则化损失函数，从结构自适应和任务驱动两个方面来优化图结构。在图分类任务和节点分类任务上的大量实验表明，与最先进的图神经网络方法相比，该方法具有优越性和鲁棒性。

2.提出了一个基于运行时图结构剪枝的高效图神经网络。针对图神经网络的计算成本严重依赖于图结构这一问题，本文开发了一个高效和可扩展的图神经网络ES-GNN，它可以同时修剪任务无关的节点和边，以提高图神经网络的效率和可扩展性。具体而言，通过深入的研究与分析，发现现有的图神经网络中存在着两个粒度的冗余信息传递：节点冗余和边冗余。为了识别冗余的消息传递，设计了两个平滑度指标:个体特征平滑度和邻域特征平滑度。基于此，探索了一种新的基于图结构的运行时剪枝方法，它利用可学习的阈值对冗余的节点和边进行自适应剪枝。实验结果表明，所提出的ES-GNN可以有效地减少计算和内存使用，同时提供相当甚至更好的精度。

3.提出了一个面向点云学习的基于多级注意力的U形图神经网络。现有的基于图神经网络的点云处理方法大多是由多个卷积层平铺堆叠而成的浅层结构，无法捕获足够的层次信息。为此，本文提出一种新颖的基于多级注意力的U形图神经网络（MAUGNN）来直接处理3D点云。MAUGNN利用多级注意力机制分层地探索点云的结构信息，并使用编码器-解码器架构从多个空间层次捕获局部特征。MAUGNN包含三个部分：编码器、解码器和连接器。在编码器和解码器部分，设计了一个基于注意力的图卷积层来探索点云的结构信息。在编码器部分，提出一种结构感知的注意力池化来支持点云数据的下采样。为了自适应地融合来自编码器的粗粒度特征和来自解码器的细粒度特征，进一步提出了一种结构感知的注意力跳过连接机制。在流行的点云数据集上的广泛实验表明，该方法优于最先进的基线方法。

4.提出了一个面向自动驾驶场景中点云学习的多任务Y形图神经网络。针对现有的基于图神经网络的点云处理方法只关注单一任务，而忽略多任务学习的问题。本文提出了一种新颖的多任务Y形图神经网络来探索3D点云，称为MTYGNN。通过扩展传统的U-Net，MTYGNN包含两个主要分支，可以同时在点云中执行分类和分割任务。并且将分类预测作为场景上下文与语义特征进行融合，使分割任务更加准确。此外，考虑每个任务的同方差不确定性来计算多个损失函数的权重，以确保任务不会相互负面干扰。在交通场景中流行的点云数据集上对MTYGNN进行了评估。实验结果表明，提出的框架优于最先进的基线方法。

丰富的实验结果和分析验证了所提出的模型有效地提升图神经网络表示学习能力，能够在各种图相关任务中取得更高效、更准确且鲁棒性高的结果。

主要学术成果

1. Xiaofeng Zou, Kenli Li, Cen Chen. Multi-Level Attention based U-Shape Graph Neural Network for Point Clouds Learning, IEEE Transactions on Industrial Informatics, DOI: 10.1109/TII.2020.3046627， 2020，(第一作者, SCI 1区Top期刊);

2. Xiaofeng Zou, Kenli Li, Yangfan Li, Wei Wei, Cen Chen. Multi-Task Y-shaped Graph Neural Network for Point Cloud Learning in Autonomous Driving, IEEE Transactions on Intelligent Transportation Systems, DOI: 10.1109/TITS.2022.3150155. (第一作者, SCI 1区Top期刊)

3. Xiaofeng Zou, Liqian Zhou, Kenli Li, Aijia Ouyang, Cen Chen. Multi-task cascade deep convolutional neural networks for large-scale commodity recognition. Neural Computing and Applications, 2020, 32, 5633-5647 (第一作者, SCI 2区期刊)

4. Xiaofeng Zou, Kenli Li, Joey Tianyi Zhou, Wei Wei, Cen Chen. Robust Edge AI for Real-time Industry 4.0 Applications in 5G Environment, IEEE Communications Standards Magazine, 2022, (Accept， 第一作者，IEEE Magazine).

5. Xiaofeng Zou, Wangdong YANG, Xuecheng RONG, Kenli LI, Keqin LI. A survey of dataflow programming models and tools for big data processing[J]. Big Data Research, 2020, 6(3): 59-72. (第一作者, 中文核心期刊)

6. Yilong Guo, Yuxuan Chen, Xiaofeng Zou, Yuandong Gu. Algorithms and Architecture Support of Degree-based Quantization for Graph Neural Networks. In: Journal of Systems Architecture, (通信作者, SCI 2区, IF = 3.777)

7. Cen Chen, Xiaofeng Zou, Zeng Zeng, Zhongyao Cheng, CH Steven, “Exploring Structural Knowledge for Automated Visual Inspection of Moving Trains”, IEEE Transactions on Cybernetics, DOI: 10.1109/TCYB.2020.2998126，2020 (第二作者，SCI 1区Top期刊)

8. Yibi Chen, Xiaofeng Zou, Kenli Li, Keqin Li, Xulei Yang, Cen Chen. Multiple local 3D CNNs for region-based prediction in smart cities. Information Sciences, 2020, 542, 476-491. (并列一作，SCI 2 Journal)

9. Cen Chen, Kenli Li, Xiaofeng Zou, Yangfan Li, “DyGNN: Algorithm and Architecture Support of Dynamic Pruning for Graph Neural Networks”, 58th Design Automation Conference (DAC), 2021. (第三作者, 体系结构顶会，CCF A类会议)

10. Cen Chen, Kenli Li, Yangfan Li, Xiaofeng Zou, “ReGNN: A Redundancy-Eliminated Graph Neural Networks Accelerator”, The 28th IEEE International Symposium on High-Performance Computer Architecture (HPCA-28) , 2021, (第四作者, 体系结构顶会，CCF A类会议)

11. Cen Chen, Kenli Li, Xiaofeng Zou, Zhongyao Cheng, Wei Wei, Qi Tian, Zeng Zeng, “Hierarchical Semantic Graph Reasoning for Train Component Detection”, IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2021.3057792, 2021. (第三作者，SCI 1区Top期刊, IF = 10.451)

12. Cen Chen, Kenli Li, Sin G. Teo, Xiaofeng Zou, Xulei Yang, Ramaseshan C. Vijay and Zeng Zeng, Gated Residual Recurrent Graph Neural Networks for Traffic Prediction, 33th AAAI Conference on Artificial Intelligence (AAAI-19), (第四作者，CCF A 会议)