学位论文简介
单目深度估计(MDE)方法由单个图像估计出像素级深度图,常用于机器人、无人机和自动驾驶汽车等许多自主系统。传统的MDE方法往往借助于人为设定的几何先验和深度线索,面临严格的限制。最近,随着深度神经网络(DNN)的应用,MDE取得了快速发展。然而,当前的MDE方法未能提供令人满意的深度信息。为提高MDE的准确性,当前的DNN模型常设计复杂的推理结构如多分支结构,牺牲计算复杂度和效率以换取更高的精度,使MDE在嵌入式设备上推理速度较慢、内存访问成本较高。为解决这些问题,本文进行的主要研究内容与贡献如下:
(1)针对当前MDE方法忽略了深度特征的位置关系,且很少对卷积通道之间的依赖关系进行建模以致模型精度不高等现状,提出注意力机制增强的编码器-解码器神经网络EDNet,并根据嵌入式硬件平台的特点,在不同的嵌入式CPU设备、FPGA设备上分别采用硬件特定的深度神经网络推理引擎优化EDNet模型,以实现准确、快速的MDE推理。
(2)针对目前MDE的上采样模块计算复杂度较高、未充分利用全局深度信息导致模型精度较低等现状,提出轻量级的编码器-解码器模型EdgeNet,以提高MDE的精度。并根据EdgeNet编码器和解码器不同的特性分别提出模型剪枝方法,以降低模型参数和复杂度。同时采用提前调度机制降低GPU调度开销,以加速模型在嵌入式GPU设备上的推理过程。
(3)针对目前MDE利用多分支推理结构提高精度而带来较高推理延迟等现状,提出直接连接模型DCM。DCM通过重新参数化解耦其训练和推理神经网络的结构,以权衡速度、精度和内存访问成本。同时提出采用机器学习的自动调优方法对DCM模型在嵌入式CPU或GPU设备上优化,提升模型在嵌入式CPU或GPU设备上的执行效率。
主要学术成果
Siping Liu, Laurence Tianruo Yang, Xiaohan Tu, Renfa Li, Cheng Xu. Lightweight Monocular Depth Estimation on Edge Devices. IEEE Internet of Things Journal, 2022, 9(17): 16168-16180. (中科院SCI一区,第一作者)
Siping Liu, Xiaohan Tu, Cheng Xu, Renfa Li. Deep Neural Networks with Attention Mechanism for Monocular Depth Estimation on Embedded Devices. Future Generation Computer Systems, 2022, 131: 137-150. (中科院SCI二区,第一作者)
Siping Liu, Renfa Li, Xiaohan Tu, Guoqi Xie, Cheng Xu. Optimized Monocular Depth Estimation With Reparameterization on Embedded Devices. IEEE 23rd International Conference on High Performance Computing and Communications (HPCC), 2021, 595-602. (CCF推荐C类会议,EI,第一作者)
Siping Liu, Xiaohan Tu, Cheng Xu, Lipei Chen, Shuai Lin, Renfa Li. An Optimized Deep Neural Network for Overhead Contact System Recognition from LiDAR Point Clouds. Remote Sensing, 2021, 13(20): 4110. (中科院SCI二区,第一作者)
Xiaohan Tu, Cheng Xu, Siping Liu, Renfa Li, Guoqi Xie, Jing Huang, Laurence Tianruo Yang. Efficient Monocular Depth Estimation for Edge Devices in Internet of Things. IEEE Transactions on Industrial Informatics, 2021, 17(4): 2821-2832. (中科院SCI一区,第三作者)