学位论文简介

先天性心脏病（Congenital Heart Disease, CHD）是全球最常见的出生缺陷，也是我国排在首位的新生儿出生缺陷，而且是导致5岁以下儿童死亡的主要因素之一。超声检查具备安全、实时、便捷、相对廉价的特点，在产前就能够有效的提供胎儿的形态结构、器官发育、心脏功能以及胎动等信息，一直是诊断CHD的首选方法。常规的胎儿CHD诊断流程包括在超声视频中快速定位基本切面、标准切面质量评估、勾勒测量关键解剖结构、疾病确诊等环节。这些环节全程由人工完成对超声影像的处理分析，高度依赖超声专家的临床经验与解剖学专业知识，不仅工作强度大且存在观测不一致性，易导致漏诊误诊。针对上述问题，本文围绕胎儿CHD诊断的关键环节，探索结合人工智能的胎心超声图像处理技术，包括胎心超声基本切面的识别、标准切面的质量控制、四腔心及腹部切面的解剖结构自动分割以及法洛四联症的视频辅助诊断。开展的主要工作具体如下：

（1）研究胎心超声基本切面的识别任务。本文提出了一种多任务架构的胎儿心脏超声图像识别模型，称为FCSD，通过检测切面中的标志性关键解剖结构，识别胎心超声基本切面，辅助扫查过程中的切面自动定位。模型由骨干网络、解剖结构检测模块和分类模块组成。在检测模块中，引入了特征融合金字塔和坐标注意力机制，融合多尺度特征并挖掘几何约束关系，以有效地定位不同类型的胎儿心脏超声图像中的重要关键解剖结构。在分类模块中，通过引入残差连接和深度可分离卷积等方法，有效提升了对胎儿心脏超声切面的识别效果。在超过2.5万张的医院真实超声图像数据集上进行实验，并与先进方法进行广泛比较，证明了FCSD模型的有效性。

（2）研究胎心超声标准切面的质量评估任务。本文提出了一种基于混合注意力机制的胎心超声标准切面质量控制模型，称为FCUM。针对标准切面图像的类内差异大、类间相似高、关键解剖结构空间关系复杂的特点，在骨干网络和检测模块中嵌入了设计的轻量级注意力机制模块，强化特征提取。然后，为分类模块设计了一种基于多层特征融合的残差结构，以获得更丰富的特征信息，提升CHD筛查超声标准切面的分类效果。最后，提出了一种基于解剖结构检测结果和切面分类结果的切面质量评定协议，实现了对四种胎心超声标准切面的质量控制。在不同地理区域、不同设备采集的超过3.7万张胎儿心脏超声图像数据集上进行实验，结果表明，FCUM模型在检测和分类两方面均取得了先进性能，能够有效辅助标准切面的选取。

（3）研究胎儿四腔心标准切面的关键解剖结构分割任务。针对胎心超声图像中解剖结构多、尺寸多变、形态相似及互相重叠等多方面的挑战，提出了一种保留池化索引和融合原始特征的端到端语义分割模型，称为ISDI-SegNet++。ISDI-SegNet++模型采用了与SegNet相同的编码器-解码器架构。本文利用了两种残差结构来优化编码器，并设计了跨层级特征融合模块与密集特征融合模块，增强了编码器与解码器之间的特征传递及提取效率，提升了模型的稳定性和准确性。在真实的胎儿四腔心切面和腹部切面数据集中，ISDI-SegNet++ 模型取得了最优的性能，具有较强的鲁棒性与适应能力。

（4）研究复杂先心病（Complex Congenital Heart Disease, CCHD）(法洛四联症)的视频诊断任务。以往的方法都是依靠单帧的心脏切面来诊断，很难捕捉心脏的运动信息和时空序列特征，对于先天性心脏病的诊断非常受限。本文提出一种辅助诊断法洛四联症疾病的视频分类模型，简称ViT-Mamba，这是首个基于超声视频的法洛四联症诊断研究。ViT-Mamba模型主要由视频特征编码器Mamba和视频分类器MLP Head组成。利用Mamba编码器对输入的视频数据提取法洛四联症特异性特征，然后利用视频分类器MLP Head对此特异性特征进行统计分类，进而完成法洛四联症的诊断。使用不同地区真实筛查视频数据集进行实验，结果表明本文的方法达到了与高年资临床医生相当的质控水准。

上述研究能够为胎儿先心病产前智能诊断提供有效的关键技术支撑，并促进医工交叉领域的快速发展。

主要学术成果

[1] Jie He, Lei Yang*, Bocheng Liang, et al. Fetal Cardiac Ultrasound Standard Section Detection Model based on Multitask Learning and Mixed Attention Mechanism, Neurocomputing, 2024, 579:1-15. (第一作者，中科院SCI-2区TOP，IF:5.5)

[2] Jie He, Lei Yang*, Yunping Zhu, et al. Fetal Cardiac Structure Detection Using Multi-task Learning, International Conference on Intelligent Computing, Springer, Tianjin, 2024. (第一作者， CCF C类会议)

[3] Wenyao Wang, Chenhao Wu, Jie He*. CLeBPI: Contrastive Learning for Bug Priority Inference，Information and Software Technology, 2023, 164：1-14. (通讯作者，中科院SCI-2区，IF:3.9)

[4] ISDI-SegNet++: A Semantic Segmentation Model for Apical Four Chamber with Multi-layer Enhanced Original Feature Environment, International Conference on Acoustics, Speech, and Signal Processing,  (第一作者，CCF B类会议，Under Review )

[5] 杨磊, 贺杰,程鑫.一种利用DCT进行图像块分类的分形图像压缩方法及系统[P].湖南省:CN202311111147.3,2024-05-14.（已授权）

[6] 贺杰,杨磊,程鑫.一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法[P].湖南省:CN202311112939.2,2023-12-22.（实质审查）