南方医科大学学报

作者：吴雪扬, 张 煜, 张 华, 钟 涛

单位：南方医科大学生物医学工程学院//广东省医学图像处理重点实验室，广东 广州 510515

关键词：猕猴大脑；磁共振全脑分割；深度学习；注意力机制；多模态特征融合,

目的 提出并探讨一种新的基于注意力机制和多模态特征融合的深度学习算法（DDAM），实现对猕猴脑MRI图像的全脑分割。方法 共收集68例年龄分布在13~36月的多模态猕猴脑MRI图像数据，且均包含对应的真实标签。针对多模态数据信息复杂且互补的特点，采用多编码器结构分别适应不同模态并进行特征提取。在解码器部分引入注意力机制构建多模态特征融合模块（AMFF），利用模态间信息丰富且互补的特点，充分融合不同尺度和复杂度的多模态特征，进而提升分割性能。另外，进行消融实验分析并对结果进行统计学检验。结果 多编码器结构以及注意力机制的引入能够有效地提升模型对多模态特征的融合能力，使得猕猴数据的全脑分割平均DSC达到0.904，ASD低至0.131（P<0.05）。消融实验结果验证了DDAM方法各组成部分的有效性。结论 本文针对多模态数据特点构建深度学习算法模型，提出的DDAM方法，能够更有效地提取并融合多模态特征，从而实现全脑分割精度的显著提高。

来源：2023年第12期

《南方医科大学学报》期刊编辑部

查看南方医科大学学报杂志2023年第12期