南方医科大学学报

作者：梁业东, 朱雄峰, 黄美燕, 张文聪, 郭翰宇, 冯前进

单位：1.南方医科大学生物医学工程学院//广东省医学图像处理重点实验室，广东 广州 510515；2.广东医科大学生物医学工程学院，广东 东莞 523808

关键词：胸部X光,对比区域注意力,临床先验知识,跨模态交互,U-Transformer模型,

基金：国家自然科学基金(12126603);国家自然科学基金(81974275);琶洲实验室研发项目(2023K0604)

目的 提出一种对比区域注意力和先验知识融合的U型Transformer模型（CRAKUT），旨在解决文本分布不均衡、缺乏上下文临床知识以及跨模态信息转换等问题，提升生成报告的质量，辅助影像科医生诊断工作。 方法 CRAKUT 包括3个关键模块：对比注意力图像编码器，利用数据集中常见的正常影像提取增强的视觉特征；外部知识注入模块，融合临床先验知识；U型Transformer，通过U型连接架构完成从视觉到语言的跨模态信息转换。在图像编码器中引入的对比区域注意力机制，通过强调正常与异常语义特征之间的差异，增强了异常区域的特征表示。此外，文本编码器中的临床先验知识注入模块结合了临床历史信息及由ChatGPT生成的知识图谱，从而提升了报告生成的上下文理解能力。U型Transformer在多模态编码器与报告解码器之间建立连接，融合多种类型的信息以生成最终的报告。 结果 在2个公开的CXR数据集（IU-Xray和MIMIC-CXR）对CRAKUT模型进行评估，结果显示，CRAKUT在报告生成任务中实现了当前最先进的性能。在MIMIC-CXR数据集，CRAKUT取得了BLEU-4分数0.159、ROUGE-L分数0.353、CIDEr分数0.500；在IU-Xray数据集上，METEOR分数达到0.258，均优于以往模型的表现。 结论 本文提出的方法在临床疾病诊断和报告生成中具有巨大的应用潜力。

来源：2025年第6期

《南方医科大学学报》期刊编辑部

查看南方医科大学学报杂志2025年第6期