科研人员提出高效时空多模态图神经网络

近日，中国科学院合肥物质科学研究院团队提出了高效时空多模态图神经网络（ET_MGNN）新型深度学习框架，提升了阿尔茨海默病和自闭症谱系障碍等脑疾病的自动诊断准确率。

理解大脑的复杂活动需同时关注功能协调和结构解剖。然而，现有的脑网络学习模型在处理动态建模和多模态信息融合方面存在局限。为克服这些挑战，研究团队受大语言模型架构的启发，开发了ET_MGNN模型。

ET_MGNN模型通过时间滑动窗口技术，将反映脑区同步性的动态功能连接与提供物理约束的结构连接进行自适应融合，构建出更全面的动态大脑图序列；引入RWKV模块，结合循环神经网络捕获长程依赖的能力和Transformer并行计算的高效性，能够更精准地模拟大脑在不同功能状态间的动态切换；引入GASO图读取模块，能够识别出与疾病高度相关的关键脑区，为临床诊断提供直观的生物标志物。

研究团队进一步在ABIDE II（自闭症）和ADNI（阿尔茨海默病）等数据集上进行了验证。实验结果显示：在自闭症分类任务中，相比于性能优秀的模型，ET_MGNN模型的分类准确率平均提升了11.8%；在阿尔茨海默病与轻度认知障碍的鉴别中，ET_MGNN模型的准确率提升了32.9%。与同类模型相比，ET_MGNN模型的参数量减少了一个数量级，具有更低的峰值显存占用，更适合在资源受限的实际医疗环境中部署。ET_MGNN模型还能够识别相关疾病的病理关联区域。例如，在自闭症识别中，ET_MGNN模型聚焦躯体运动网络；在阿尔茨海默病诊断中，ET_MGNN模型能够精准定位涉及记忆和注意力控制的默认网络及显著网络中的异常脑区。

上述研究验证了ET_MGNN模型的有效性，为理解脑疾病的神经机制提供了新视角。

相关研究成果发表在Neurocomputing上。研究工作得到国家自然科学基金等的支持。

论文链接

面向脑疾病智能诊断的高效时空多模态图神经网络架构