学位论文简介
中国胎儿先天性心脏病的发病率和死亡率在过去的12年里在亚洲国家中是最高的，已经成为胎儿和儿童死亡的主要原因之一。超声技术由于其无损、安全、便捷和成像速度快等优点已经成为筛查胎儿先天性心脏病最有力的工具。在临床实践中，利用超声技术进行胎儿先天性心脏病诊断包括标准切面识别，标准心动周期定位，心脏切面分割和测量，疾病诊断等流程。此外，标准切面质量控制对提升先天性心脏病检出率有极大促进作用。但是这些工作都严重依赖于超声医生的主观经验水平，全程需要医生手工完成，耗时长，且同质化水平低。随着三胎政策的开放，高龄产妇和新生胎儿数量可能逐渐增多，从而导致产科医生的压力和工作强度增大。
针对上述问题，本文旨在研究胎儿先天性心脏病辅助诊断的关键技术。首先研究自动识别标准切面，其次定位心动周期。在此基础上，我们又研究了预测标准心动周期、四腔心切面多器官自动分割以及心脏切面质量控制，主要研究工作及贡献如下：
提出一种基于视频流时空特性的多任务学习模型，称为FUSPR。FUSPR模型包括一个CNN组件和一个RNN组件，通过多任务方式来学习超声视频流的空间和时间特征。CNN组件从每一帧视频中识别胎儿的关键解剖结构，并提取胎儿标准切面的空间特征。RNN组件获得了相邻帧之间的时间信息，实现了跨帧的胎儿器官的精确定位。此外，我们在FUSPR模型中引入了两种特征融合策略，以适应视频流中的空间序列和运动表示，从而有效地提高了模型的准确性和鲁棒性。在超过1000个超声视频上进行广泛实验，结果表明FUSPR模型具有优越的性能。
提出了一种融合的分类算法来定位胎儿ES和ED帧。该算法集成了感兴趣区域定位组件，时间信息融合模块和一个深度迁移的CNN分类模块。感兴趣区域定位模块确定影像中四腔心的位置并过滤不相关的视图，时间信息模块将时间差异信息融入图像通道来提取短时信息，迁移的CNN模块提取深层次的高级特征最终进行分类。除此之外，我们还探索了不同CNN网络和不同时间信息融合策略的组合。
提出了一个基于目标检测的端到端融合神经网络，以有效地从胎儿超声视频中检测标准心动周期。所提出的模型包括3个模块，即解剖结构检测模块，ES和ED帧定位模块，以及用于识别标准化的切面识别模块。解剖结构检测模块来识别胎儿超声视频中的9个关键解剖结构、3个心脏运动状态和相应的置信度分数。在此基础上，我们在心动周期定位模块中提出了一种联合概率评估方法，根据3个心脏运动阶段来定位心动周期。标准切面识别模块可以减少单个结构检测错误对标准切面识别的整体准确性影响。实验表明，我们在测试数据集和临床案例中都取得了先进性能。
提出一种新的语义分割模型，简称为MobileUNet-FPN。MobileUNet-FPN模型利用MobileNet不同阶段的高阶特征作为编码器处理模糊的超声图像，并在语义分割模型中构建特征金字塔网络，分割心尖四腔心切面的13种关键解剖结构。在胎儿四腔心切面和股骨长轴切面上进行试验，结果表明所提出的方法的性能超过了多种先进对比方法。
提出一种关系知识推理模型，简称为SGRDM，对胎儿心脏四切面进行质量控制。SGRDM主要由图知识构建模块和关系知识推理模块组成。图知识构建模块是在正负样本中构建解剖结构的位置关系知识。关系知识推理模块是学习不同解剖结构的位置关系依赖。在心脏四个切面的数据进行实验，结果表明我们的方法优于现阶段先进的检测器。并且，我们的方法达到了与有经验临床医生相当的质控水准。
主要学术成果
MVSTT: A Multi-View Spatial-Temporal Transformer Network for TrafficForecasting, IEEE Transactions on Cybernetics. (第一作者, SCI一区, IF: 19.118, Provisionally Accepted).
Automatic Fetal Ultrasound Standard Plane Recognition Based on Deep Learning and IIoT, IEEE Transactions on Industrial Informatics, vol. 17, no. 11, pp. 7771-7780, Nov. 2021, doi: 10.1109/TII.2021.3069470. (第一作者, SCI一区, IF: 11.648)
MobileUNet-FPN: A Semantic Segmentation Model for Fetal Ultrasound Four-chamber Segemation in Edge Computing Environments, IEEE Journal of Biomedical and Health Informatics, doi:10.1109/JBHI.2022.3182722. (第一作者, SCI二区, IF: 7.021).
Fetal cardiac cycle detection in multi-resource echocardiograms using hybrid classification framework. Future Generation Computer Systems, 2021, 115: 825-836. (第一作者, SCI二区, IF: 7.307)
ED-ACNN: Novel attention convolutional neural network based on encoder-decoder framework for human traffic prediction. Applied Soft Computing, 2020, 97: 106688. (第一作者, SCI二区, IF: 8.263)
UFNGBM (1, 1): A novel unbiased fractional grey Bernoulli model with Whale Optimization Algorithm and its application to electricity consumption forecasting in China. Energy Reports, 2021, 7: 7405-7423. (第一作者, SCI二区, IF: 4.937)
HN-PPISP: A Hybrid Network Based on MLP-Mixer for Protein-protein Interaction Site Prediction, Briefings in Bioinformatics, doi:10.1093/bib/bbac480. (通信作者, CCF B, IF: 13.994, Accepted)
A Hybrid Two-stage Teaching-Learning-Based Optimization Algorithm For Feature Selection in Bioinformatics, IEEE/ACM Transactions on Computational Biology and Bioinformatics, doi:10.1109/TCBB.2022.3215 129. (通信作者, CCF B, IF: 3.702)
