学位论文简介
在嵌入式计算环境中部署深度学习模型往往需要首先减少模型所需的计算量与内存容量。通道修剪作为一种结构化修剪方法能在符合硬件加速特性的前提下，减小模型的大小以及计算量。现有的通道修剪方法可以分为基于通道重要性判别的修剪方法和基于最优结构选择的搜索方法。首先，现有的通道修剪方法存在复杂结构的处理不到位的问题。其次，基于通道重要性评估的修剪方法中存在的重要性评估问题、人工干预过多、稀疏不均匀等问题，以及基于结构重要性评估的搜索方法中搜索空间不完整、无法扩展更多模型以及搜索策略未考虑资源受限的情况等问题。针对通道修剪方法中存在的问题，我们进行了以下研究。
（1）提出了基于批次归一化层双因子的通道修剪方法。我们从模型输入的特征分布和批次归一化层内部对特征分布的处理两方面分析了批次归一化层缩减因子和位移因子的作用，并结合批次归一化的缩减因子和位移因子共同作为通道重要性评估的方法，并提出了相应的修剪方法。
（2）提出了双排序通道修剪方法。针对现有的模型稀疏化需要大量人工干预的问题，我们提出了稀疏自动化方法，自动寻找合适的稀疏模型。然后，针对批次归一化层双因子修剪方法需要大量的参数训练问题，我们提出了全局修剪因子与局部修剪因子结合的双排序通道修剪方法。最后，对于通道修剪过程中可能出现的模型层结构损坏问题，我们提出了通道置换策略。
（3）提出了基于自动结构搜索的通道修剪方法。针对神经网络本身的复杂结构耦合部分难以修剪的问题，我们采用将通道修剪问题转化为结构搜索问题的解决方案。同时，针对搜索空间大带来的搜索计算成本高的问题，我们提出了单元级搜索空间定义方法缩减搜索空间。为了满足实际资源受限平台的算力约束问题，我们提出了基于计算量约束的人工蜂群算法作为结构搜索策略来搜索最优结构，这种方法同时缩减了搜索空间。
主要学术成果
Yijie Chen, Rui Li and Renfa Li. HRCP : High-ratio channel pruning for real-time object detection on resource-limited platform. Neurocomputing, 2021. (中科院SCI 2区, JCR 1区, IF = 6)
Yijie Chen, Rui Li, Wanli Li, Jilong Wang and Renfa Li. Three-Stage Global Channel Pruning for Resources-Limited Platform. IEEE Transactions on Neural Networks and Learning Systems, 2023. (中科院SCI 1区, JCR 1区, IF = 10.4)
