
学位论文简介
深度神经网络模型所需的高存储和计算负担对当前硬件设备造成了巨大压力,在资源受限的移动和可穿戴设备上尤其明显。庞大的网络参数意味着更大的内存存储,而增长的浮点型计算次数意味着训练成本和计算时间的增长,这些因素严重制约了基于深度学习的人工智能技术的应用与部署。因此,本文的研究旨在利用张量分解技术,探究满足资源约束的条件下或者在保证网络性能的前提下的神经网络模型的高效压缩方法,尽可能的提升网络性能或者提升参数压缩率及计算加速比。取得了以下主要创新性研究成果:
(1) 设计基于张量环分解的神经网络模型压缩算法,探索张量环分解下的最佳张量分解表示及相应最佳执行策略,以在保持神经网络性能的前提下,最大限度地降低模型的压缩率并提升计算效率。
(2) 设计Tucker分解下的高效精度感知压缩架构,通过引入联合优化算法,探索模型压缩与网络性能之间的动态平衡,确保在压缩过程中不损失关键的性能指标。
(3) 针对神经网络中存在的子网结构,设计高效的共享压缩算法,通过对子网结构中的共享属性的挖掘和有效利用,从而实现对具有子网结构的神经网络模型的高效压缩,提高对这一类复杂神经网络的压缩效率。
主要学术成果
[1] Kun Xie, Can Liu, Xin Wang, Xiaocan Li, Gaogang Xie, Jigang Wen. Neural Network Compression Based on Tensor Ring Decomposition [J]. IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 2024: 1-15. (SCI一区, 导师第一作者)
[2] Can Liu, Kun Xie, Jigang Wen, Gaogang Xie, Kenli Li. An Accuracy-Preserving Neural Network Compression via Tucker Decomposition [J]. IEEE Transactions on Sustainable Computing (T-SUSC), 2024: 1-13. (SCI 三区, 第一作者)
[3] Can Liu, Kun Xie, Jigang Wen, Gaogang Xie, Kenli Li. Enhanced Neural Network Compression through Shared Tucker Decomposition and Quantization.(SCI, Under Review)
[4] Peihao Huang, Guo Chen, Xin Zhang, Can Liu, Hongyu Wang, Huijun Shen, Ying Bian, Yuanwei Lu, Zhenyuan Ruan, Bojie Li, Jiansong Zhang, Yongfeng Liu, Zhigang Chen. Fast and Scalable Selective Retransmission for RDMA. INFOCOM 2025. (CCF A, 第四作者)
[5] Peihao Huang, Xin Zhang, Zhigang Chen, Can Liu, Guo Chen, “LEFT: lightweight and fast packet reordering for RDMA,” in Proceedings of the 8th Asia-Pacific Workshop on Networking, APNet 2024, pp. 67–73. (CCF C, 第四作者)