学位论文简介
机器人、无人机和自动驾驶汽车等典型信息物理系统（Cyber physical system，CPS）通过计算、通信和控制，实现场景感知、任务规划和决策控制过程。这些系统在室内外等复杂场景进行嵌入式计算以完成感知任务，通常面临计算资源有限和异构计算资源的有效利用等问题。单目深度估计（Monocular depth estimation，MDE）方法从单个图像估计出像素级深度图，可以有效降低感知的硬件成本，实现深度信息感知。作为CPS中的一个典型感知任务，传统的MDE方法往往借助于人为设定的几何先验和深度线索信息，面临严格的假设限制。最近随着深度神经网络（Deep neural network，DNN）的应用，MDE取得了快速发展。但面对单目深度估计这一不适定问题，当前方法未能在资源受限的嵌入式计算硬件上提供满意的深度信息和计算效率。如何在异构的嵌入式计算设备上高效地部署单目深度估计方法成为亟待解决的问题。
本文针对嵌入式计算设备上单目深度估计算法的精度、推理延迟、计算复杂度、模型复杂度、功耗的相互影响和制约的问题，研究在不同嵌入式硬件设备如中央处理器（Central processing unit，CPU）、现场可编程逻辑门阵列（Field programmable gate array，FPGA）、以及图形处理单元（Graphics processing unit，GPU）上单目深度估计的模型设计、压缩和优化方法，提高单目深度估计的推理精度、速度，改善推理功耗，加强模型对不同嵌入式设备的适配性，最终在嵌入式设备上实现轻量级、实时、准确的单目深度估计计算。本文的主要工作如下：
（1）针对目前MDE方法忽略了深度特征的位置关系，且很少对卷积通道之间的依赖关系进行建模的问题，本文提出编码器-解码器网络（Encoder-decoder network，EDNet），以及EDNet模型的推理引擎优化方法，以实现嵌入式设备上MDE低计算复杂度、低模型复杂度、高精度的目标。具体来说，本文的编码器重新探索新特征并强化特征传播，利用全卷积注意力机制学习卷积层中各通道之间的相互依赖关系。本文的解码器包括所设计的四个即插即用模块，分别提取深度特征、建模通道间的依赖关系、学习位置关系、调整卷积通道，以输出高分辨率的像素级深度图。本文的离线转换和推理引擎优化方法，能够在不同嵌入式设备上分别对EDNet进行加速。实验表明EDNet在不同的数据集和嵌入式CPU或FPGA设备上均提高了MDE的精度，降低了计算和模型复杂度。
（2）针对目前MDE的上采样方法未充分利用全局信息，且计算复杂度较高的问题，本文提出轻量级的编码器-解码器网络（Encoder-decoder network on edge devices，EdgeNet）聚合全局深度信息，并提出EdgeNet模型剪枝和GPU调度优化方法，以实现嵌入式GPU设备上MDE低延迟、高精度的目标。具体来说，本文的编码器由轻量化模型构成，能够快速提取深度特征后传递给解码器。本文的上采样模块作为解码器的重要部分，由低复杂度的操作代替普通卷积高复杂度的操作，且利用不同的感受野来聚合全局深度信息，以提高MDE的精度。本文的两阶段通道修剪方法能够根据EdgeNet编码器和解码器不同的特性剪枝压缩模型。第一阶段的通道修剪方法通过强化学习算法自动剪枝编码器。第二阶段的通道修剪方法通过控制相关系数达到目标修剪率。经过两阶段的通道修剪后，得到更加轻量级的模型。本文的GPU调度优化方法，能够通过减少GPU的冗余调度开销来优化加速剪枝后的EdgeNet。
（3）针对目前MDE利用多分支推理结构提高精度而带来较高功耗的问题，本文提出直接连接模型（Directly connected model，DCM）的重新参数化和编译优化方法，以实现嵌入式CPU或GPU设备上MDE不同硬件架构的性能适配，以及低功耗、高精度的目标。具体来说，本文的MDE重新参数化方法将含有多分支训练神经网络的DCM进行参数的等价变换和结构的转化，以减少模型推理时的内存访问成本和功耗开销。DCM通过解耦其训练和推理神经网络权衡了功耗、速度、精度和内存访问成本。本文的编译优化方法采用深度学习编译器TVM作为基础框架，提出机器学习算法作为成本模型，通过服务器和嵌入式设备的协同，编译优化DCM在嵌入式GPU或CPU设备上的执行过程，为嵌入式GPU或CPU设备分别生成性能最佳的执行代码。实验结果证实了本文的单目深度估计方法可以在不同的数据集和嵌入式GPU或CPU设备上实现低功耗、准确、高效的推理。
主要学术成果
Siping Liu, Xiaohan Tu, Cheng Xu, Renfa Li. Deep Neural Networks with Attention Mechanism for Monocular Depth Estimation on Embedded Devices. Future Generation Computer Systems, 2022, 131: 137-150. (中科院SCI二区，第一作者)
Siping Liu, Laurence Tianruo Yang, Xiaohan Tu, Renfa Li, Cheng Xu. Lightweight Monocular Depth Estimation on Edge Devices. IEEE Internet of Things Journal, 2022, 9(17): 16168-16180. (中科院SCI一区，第一作者)
Siping Liu, Renfa Li, Xiaohan Tu, Guoqi Xie, Cheng Xu. Optimized Monocular Depth Estimation With Reparameterization on Embedded Devices. IEEE 23rd International Conference on High Performance Computing and Communications (HPCC), 2021, 595-602. (CCF C类会议，EI，第一作者)
Siping Liu, Xiaohan Tu, Cheng Xu, Lipei Chen, Shuai Lin, Renfa Li. An Optimized Deep Neural Network for Overhead Contact System Recognition from LiDAR Point Clouds. Remote Sensing, 2021, 13(20): 4110. (中科院SCI二区，第一作者)
Xiaohan Tu, Cheng Xu, Siping Liu, Renfa Li, Guoqi Xie, Jing Huang, Laurence Tianruo Yang. Efficient Monocular Depth Estimation for Edge Devices in Internet of Things. IEEE Transactions on Industrial Informatics, 2021, 17(4): 2821-2832. (中科院SCI一区，第三作者)
