学位论文简介

病理全切片图像（WSI）具有超高分辨率、数据规模巨大、组织结构复杂以及标注高度依赖弱监督等特点，使其成为计算机视觉和人工智能领域中极具挑战性的研究对象。传统的全监督学习方法难以直接应用于此类数据，而现有弱监督方法在多尺度特征建模、空间结构表达、上下文关系建模及泛化能力等方面仍存在不足。针对上述问题，本文以肺癌病理全切片图像为研究对象，从计算机科学与人工智能方法论角度出发，系统研究了基于多实例学习的 STAS 诊断与基因突变预测方法，重点探索多尺度特征建模、空间结构化表示、肿瘤微环境建模以及多视图特征融合等关键计算问题，并取得了以下主要创新性研究成果：

(1) 基于尺度自适应注意力机制的多实例学习框架（SMILE）：针对 STAS 在病理图像中呈现出的尺度多样性和稀疏分布特征，本文提出了一种尺度感知的多实例学习方法，在特征聚合阶段引入尺度自适应注意力机制，有效缓解了传统注意力模型过度依赖少数高显著性实例的问题，提升了模型对细微、分散病理模式的感知能力。该方法从计算建模角度为多实例学习中尺度因素的显式建模提供了新的思路。大量实验表明，SMILE 在 STAS-CSU 数据集上取得了具有竞争力的诊断结果，分别在 CPTAC和TCGA数据库中诊断了251个和319个STAS样本，其AUC值均优于临床平均水平。

(2) 基于特征交互暹罗图编码器的多实例学习模型（VERN）：针对传统多实例学习将实例视为无序集合、忽略实例间空间关系的局限，本文进一步引入空间拓扑结构建模思想，构建了基于空间关系的多实例学习框架。通过显式建模实例之间的空间邻接与结构信息，实现了对复杂病理模式的更精细表达，从而提升了模型在弱监督条件下对空间异质性病理特征的建模能力。两个编码器通过共享权重实现特征交互，使模型能够学习更鲁棒的图表示，提升泛化能力。VERN在内部验证中取得了0.9215的AUC值，在冰冻切片和石蜡包埋切片测试中分别取得了0.8275和0.8829的AUC值，展现了临床级别的性能。

(3) 基于多尺度自适应扩散注意力专家模型（DAEM）：针对WSI诊断劳动强度大、耗时长、主观性强等问题，本文基于物理扩散过程引入病理特征学习，突破传统多实例学习忽略局部-全局关联的局限，进一步提出了一种扩散注意力专家模型用于同时处理肺癌冰冻切片和石蜡切片中的STAS 诊断问题。该模型通过扩散注意力机制实现全局信息的有效传播，并结合多专家协同结构完成多尺度特征的高效融合，在保证计算可扩展性的同时增强了模型对复杂上下文信息的建模能力。在内部数据集上，DAEM在FS和PS中对STAS的诊断分别取得了0.8946和0.9112的AUC值。此外，一项包含八个中心的外部多中心STAS测试数据集验证了DAEM的通用性和可解释性。进一步地，本文将肿瘤微环境中细胞核的空间分布信息纳入计算框架，实现了STAS与原发肿瘤之间距离的半自动测量，拓展了多实例学习方法在空间定量分析方面的应用边界。

(4) 基于一种整合肿瘤微环境特征的深度学习框架（NAVF-Bio）：NAVF-Bio模型将多实例学习与自适应多视图特征融合相结合，利用全切片图像（WSI）中的肿瘤微环境（TME）特征，高精度预测肺癌病理中的多种驱动基因突变和TMB。具体而言，NAVF-Bio采用自适应多视图架构，能够同时捕获和整合不同空间尺度和上下文视图的特征，有效模拟肿瘤细胞与其微环境之间复杂的相互作用。通过将多实例学习与自适应跨视图知识互补性相结合，NAVF-Bio能够自适应地加权来自不同特征子集的贡献，从而提高跨数据集的判别性表示和泛化能力。这种多尺度TME整合使得NAVF-Bio不仅在突变预测任务上的平均AUC达到了0.9以上，超越了现有的最先进的深度学习方法，而且还能够准确预测多个独立中心的突变亚型和外显子变异。此外，该框架通过将定量TME模式与预测的分子改变联系起来，增强了可解释性，从而将组织病理学表型与潜在的基因组驱动因素联系起来，并为将病理图像分析与精准肿瘤学应用相结合提供了一种新的范式。

主要学术成果

[1] Liangrui Pan, Jiadi Luo, Chenchen Nie, Songqing Fan, Xiang Wang, Shaoliang Peng, Qingchun Liang. A deep learning framework integrating tumor microenvironmental features accurately predicts multiple driver gene mutations in lung cancer pathology images. Cancer Research. 2025. (中科院一区TOP, IF=16.6, Nature Index期刊，本人一作)

[2] Liangrui Pan, Jiadi Luo, Yuxuan Xiao, Chenchen Nie, Xiaoshuai Wu, Songqing Fan, Ling Chu, Manqiu Li, Rongfang He, Zhenyu Zhao, Ruixing Wang, Shulin Liu, Yiyi Liang, Xiang Wang, Qingchun Liang, Shaoliang Peng. Diffusion attention expert model for predicting and semi-automatic localizing STAS in lung cancer histopathological images. Nature Communications. 2026. (中科院一区TOP, IF=15.7, Nature Index期刊，本人一作)

[3] Liangrui Pan, Qingchun Liang, Wenwu Zeng, Yijun Peng, Zhenyu Zhao, Yiyi Liang, Jiadi Luo, Xiang Wang, Shaoliang Peng. Feature-interactive Siamese graph encoder-based image analysis to predict STAS from histopathology images in lung cancer. npj Precision Oncology. 2024;8. (中科院一区TOP，, IF=8, 本人一作)

[4] Liangrui Pan, Xiaoyu Li, Yutao Dou, Qiya Song, Jiadi Luo, Qingchun Liang, Shaoliang Peng. SMILE: A scale-aware multiple instance learning method for multicenter STAS lung cancer histopathology diagnosis. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI); 2025. (CCF A会议，本人一作)

[5] Liangrui Pan, Xiang Wang, Qingchun Liang, Jiandong Shang, Wenjuan Liu, Liwen Xu, Shaoliang Peng. DEDUCE: Multi-head attention decoupled contrastive learning to discover cancer subtypes based on multi-omics data. Computer Methods and Programs in Biomedicine. 2024;257:108478. (中科院二区，本人一作)

[6] Liangrui Pan, Zhenyu Zhao, Ying Lu, Kewei Tang, Liyong Fu, Qingchun Liang, Shaoliang Peng. Opportunities and challenges in the application of large artificial intelligence models in radiology. Meta-Radiology. 2024;2(2):100080. (JCR一区, IF=10, 本人一作)

[7] Yan Li, Liangrui Pan, Yijun Peng, Xiaoyu Li, Xiang Wang, Limeng Qu, Qiya Song, Qingchun Liang, Shaoliang Peng. Application of deep learning-based multimodal fusion technology in cancer diagnosis: A survey. Engineering Applications of Artificial Intelligence. 2025;143:109972. (中科院一区TOP，, IF=8, 本人共同一作)

[8] Liangrui Pan, Xingchen Li, Zhongyi Chen, Ling Chu, Shaoliang Peng. DLiPath: A benchmark for the comprehensive assessment of donor liver based on histopathological image dataset. In: Proceedings of the IEEE International Conference on Bioinformatics and Biomedicine (BIBM); 2025. (CCF B会议，本人一作)

[9] Liangrui Pan, Mao Huang, Lian Wang, Pinle Qin, Shaoliang Peng. FedDP: Privacy-preserving method based on federated learning for histopathology image segmentation. In: Proceedings of the IEEE International Conference on Bioinformatics and Biomedicine (BIBM); 2024:2325–2331. (CCF B会议，本人一作)

[10] Liangrui Pan, Pengfei Rong, Dazheng Liu, Pinle Qin, Xiangxiang Zeng, Shaoliang Peng. PACS: Prediction and analysis of cancer subtypes from multi-omics data based on a multi-head attention mechanism model. In: Proceedings of the IEEE International Conference on Bioinformatics and Biomedicine (BIBM); 2023:904–909. (CCF B会议，本人一作)

[11] Liangrui Pan, Wenjuan Liu, Zhichao Feng, Keqin Li, Liwen Xu, Shaoliang Peng. CVFC: Attention-based cross-view feature consistency for weakly supervised semantic segmentation of pathology images. In: Proceedings of the IEEE International Conference on Bioinformatics and Biomedicine (BIBM); 2023:1374–1379. (CCF B会议，本人一作)

[12] Liangrui Pan, Wenjuan Liu, Xuan Liu, Guo Chen, Liwen Xu, Shaoliang Peng. LDCSF: Local depth convolution-based Swin framework for classifying multi-label histopathology images. In: Proceedings of the IEEE International Conference on Bioinformatics and Biomedicine (BIBM); 2023:1368–1373. (CCF B会议，本人一作)

[13] Liangrui Pan, Hetian Wang, Lian Wang, Boya Ji, Mingting Liu, Mitchai Chongcheawchamnan, Jin Yuan, Shaoliang Peng. Noise-reducing attention cross fusion learning transformer for histological image classification of osteosarcoma. Biomedical Signal Processing and Control. 2022;77:103824. (中科院一区，本人一作)

[14] Lian Wang, Liangrui Pan, Hetian Wang, Mingting Liu, Zhichao Feng, Pengfei Rong, Zuo Chen, Shaoliang Peng. DHUnet: Dual-branch hierarchical global–local fusion network for whole slide image segmentation. Biomedical Signal Processing and Control. 2023;85:104976. (中科院一区，本人共同一作)

[15] Liangrui Pan, Lian Wang, Zhichao Feng, Zhujun Xu, Liwen Xu, Shaoliang Peng. MGTUNet: A new UNet for colon nuclei instance segmentation and quantification. In: Proceedings of the IEEE International Conference on Bioinformatics and Biomedicine (BIBM); 2022:1121–1125. (CCF B会议，本人一作)

[16] 一种从肺癌组织病理学图像中预测气腔内播散的方法: 中国, CN118507062A. （已授权，本人排名第二，导师第一）

[17] 基于人工智能的癌症患者生存预测方法及装置: 中国, CN117789980A. 实质审查，本人排名第二，导师第一）

[18] 一种用于病理图像分割的双端层次化的特征融合方法: 中国, CN115661454A. （实质审查，本人排名第三，导师第一）

[19] 一种面向模态缺失的多模态癌症生物标志物预测方法: 中国, CN119904411A; CN119904411B. （已授权，本人排名第二，导师第一）

[20] 一种基于多头注意力机制的分析癌症多组学数据方法: 中国, CN116580848A. （实质审查，本人排名第二，导师第一）

[21] 一种基于生成对抗网络增强肝脏磁共振病灶对比度的方法: 中国, CN117557483A. （实质审查，本人排名第四，导师第一）

[22] 基于多模态蛋白质语言模型的DNA绑定残基预测方法: 中国, CN119418777A. 实质审查，本人排名第五，导师第一）

[23] 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法: 中国, CN115527204A. （实质审查，本人排名第二，导师第一）

[24] 一种从肺癌组织病理学图像中预测基因突变信息的方法: 中国, CN120148029A; CN120148029B. （实质审查，本人排名第二，导师第一）

[25] 一种基于机器学习的特征生成方法: 中国, CN116631636A. （实质审查，本人排名第二，导师第一）

[26] 一种用于医疗特征生成模型的半监督条件迁移学习方法: 中国, CN116628489A; CN116628489B. （实质审查，本人排名第四，导师第一）