山东大学姬冰教授团队在基于大模型的医学影像分割领域取得新进展

近日，山东大学控制科学与工程学院姬冰教授团队在医学影像领域顶级期刊IEEE Transactions on Medical Imaging（中科院一区TOP，IF=8.9）在线发表题为“AMVLM: Alignment-Multiplicity Aware Vision-Language Model for Semi-Supervised Medical Image Segmentation”的研究论文。山东大学硕士研究生潘庆涛和李峥嵘为论文共同第一作者，姬冰教授为论文通讯作者，山东大学为论文第一完成单位。

现有半监督医学图像分割方法存在伪标签质量低的问题，进而误导模型训练并导致模型学习不正确的特征，破坏在未标记数据上的一致性学习。视觉语言模型能够通过对比学习方式，学习图像和文本之间的交互信息，对增强伪标签质量具有显著优势。然而，当前主流的视觉语言模型执行一对一的图像-文本对齐，难以学习到图像和文本之间的多重对应关系。

为了解决上述难题，该研究提出了对齐多重性感知视觉语言模型（Alignment-Multiplicity Aware Vision-Language Model，AMVLM），实现了高效的跨模态多重对齐。进一步地，基于预训练的AMVLM，提出了文本引导的半监督医学图像分割网络，利用交互的图像文本特征生成文本引导掩码，增强伪标签质量。在四个代表性数据集上的实验结果表明，所提出方法的性能优于当前的半监督医学图像分割方法以及视觉语言模型驱动的半监督医学图像分割方法。

姬冰教授团队长期致力于医工融合领域研究工作，聚焦于基于人工智能方法开展疾病的精准诊疗，相关研究成果发表在IEEE Transactions on Medical Imaging、Artificial Intelligence Review、AAAI等学术期刊和顶级会议。该研究获得国家自然科学基金、山东省泰山学者青年专家等项目的资助。山东大学智能医学工程研究中心为本研究提供了平台支持。