答辩公告
我的位置在: 首页 > 答辩公告 > 正文
朱贤益答辩公告
浏览次数:日期:2020-06-25编辑:研究生教务办1

答辩公告

论文题目

基于深度神经网络的手绘草图语义解析与识别技术研究

答辩人

朱贤益

指导教师

肖懿教授

答辩委员会

主席

陈浩教授

学科专业

计算机科学与技术

学院

信息科学与工程学院

答辩地点

视频答辩

答辩时间

2020630 900

学位论文简介

本文主要利用深度神经网络技术在手绘草图语义解析和识别任务进行了探索,针对手绘草图信息少、样本数量少等问题,以数据表示、手绘草图特性、神经网络结构等方面为研究的出发点。在解析任务上,本文研究了笔画融合表示、笔画长度、笔画之间关系对解析正确率的影响;在识别任务上,本文研究了低分辨草图图像的多模表示、图像卷积和点集卷积对识别正确率的影响;为此,本文提出了多个深度神经网络模型。本文的主要创新性成果总结为以下四个方面:

1)针对长、短笔画,本文提出了基于双神经网络的手绘草图自动语义解析的方法。实验结果和分析表明,本文提出的数据融合表示和双神经网络结构有效提高了解析正确率。

2)针对手绘草图中笔画之间的时序和空间关系,本文提出了基于 CNN CRF 的手绘草图自动语义解析的方法。实验结果和分析表明,本文的方法优于现有的其他方法。

3)针对草图样本数量少,本文提出了基于深度迁移学习的手绘草图自动语义解析方法。实验结果在抽象草图数据集上获得了9.7%的提升,在能对应三维网格的草图数据集上获得了2%的提升。

4)针对低分辨率草图图像,本文提出了一种用于 LR 草图图像识别的像素和点集的联合卷积神经网络,SketchPPNet。实验结果表明,本文的方法优于其他的深度神经网络。

主要学术成果

  1. Xianyi Zhu, Yi Xiao, Yan Zheng: Part-Level Sketch Segmentation and Labeling Using Dual-CNN. ICONIP (1) 2018: 374-384 (CCF C类会议,第一作者)

  2. Xianyi Zhu, Yi Xiao, Yan Zheng: 2D freehand sketch labeling using CNN and CRF. Multimedia Tools and Applications 79(1-2): 1585-1602 (2020) (SCI,第一作者)

  3. Xianyi Zhu, Jin Yuan, Yi Xiao, Yan Zheng, and Zheng Qin: Stroke classification for sketch segmentation by fine-tuning a developmental VGGNet16. Multimedia Tools and Applications, 2020: 1–16 (SCI,第一作者)

  4. Xianyi Zhu, Yi Xiao, Yan Zheng, Guanghua Tan, Shizhe Zhou: Sketchppnet: a joint pixel and point convolutional neural network for low resolution sketch image recognition. ICASSP. IEEE, Barcelona, Spain, 2020: 2253–2257  (CCF B类会议,第一作者)

  5. Xianyi Zhu, Yi Xiao, Guanghua Tan, Shizhe Zhou, Chi-Sing Leung, Yan Zheng: GPU-accelerated 2D OTSU and 2D entropy-based thresholding. Journal of Real-Time Image Processing, 2019: 1-13  (SCI,第一作者)