电子科技大学医学院陈新建教授团队在Nature子刊npj Digital Medicine发表研究成果

近日，电子科技大学、苏州大学、汕头大学·香港中文大学联合汕头国际眼科中心和新加坡科技研究局等机构的研究团队开发了一种名为多标签OCT报告生成器（MORG）的深度学习模型，为这一难题带来了创新性解决方案。MORG能够自动解读视网膜OCT图像并生成专业报告，显著提升诊断效率，大幅减轻眼科医生的工作负担。这一研究成果以《A Deep Learning Based Automatic Report Generator for Retinal Optical Coherence Tomography Images》为题，发表于国际知名期刊《npj Digital Medicine》（中科院一区Top期刊，影响因子15.1）。医学院陈新建教授、新加坡科技研究局付华柱研究员、苏州大学电子信息学院王景涛博士以及汕头大学·香港中文大学联合汕头国际眼科中心林田博士为共同论文第一作者，汕头大学·香港中文大学联合汕头国际眼科中心陈浩宇教授为本文的通讯作者。

在全球范围内，数以百万计的人正受到年龄相关性黄斑变性、糖尿病视网膜病变等各类视网膜疾病的困扰，这些疾病不仅严重损害患者的视力，还对医疗系统和经济造成了沉重负担。视网膜光学相干断层扫描（OCT）作为一种非侵入性成像技术，为眼科医生提供了视网膜的精细三维结构信息，现已成为眼科领域中不可或缺的诊断工具。然而，解读OCT图像需要高度专业的医学知识和大量时间投入，在基层医院缺乏专业人员进行解读，而在大医院OCT的解读影响了诊疗效率。

在本项研究中，研究人员构建了MORG模型，该模型的算法架构基于一种创新的深度学习框架，该框架结合了双图像编码器、多尺度特征融合模块（MSFF）以及长短期记忆网络（LSTM）解码器。首先，模型使用两个共享权重的Densenet121网络作为图像编码器，分别对一组OCT图像（通常为水平和垂直视角）进行特征提取，以确保从不同视角的图像中获得一致的特征表示。

接着，提取的特征被输入到MSFF模块中，该模块通过多尺度特征融合和注意力机制，将不同尺度的特征图进行拼接，并生成特征权重图，以指导模型聚焦于图像中的关键区域。这种设计使得模型能够有效整合来自不同层次的特征信息，从而更好地捕捉图像中的细节和上下文。

最后，融合后的特征被输入到LSTM解码器中，通过逐词预测的方式生成诊断报告。LSTM解码器在生成报告的过程中，利用注意力机制不断与编码器提取的特征进行交互，确保在不同的时间步聚焦于图像的不同区域，从而生成准确且详细的诊断报告。

整体而言，MORG模型通过这种编码-融合-解码的架构，实现了从OCT图像到高质量诊断报告的自动转换，显著提高了报告生成的效率和质量。

MORG模型在文本质量、专家评分、疾病分类、时间效率和报告准确性等方面均展现出卓越性能，为视网膜OCT图像的自动报告生成提供了一种高效、可靠的解决方案。

1、相似性指标。MORG模型在文本相似度指标上表现出色，其BLEU-1至BLEU-4、ROUGE和CIDEr分数均高于其他SOTA模型，如NIC、Progressive Model、SCA-CNN和Bottom-up-to-down，表明其生成的报告与专业眼科医生撰写的报告在文本质量上更为接近。

2、视网膜专家盲评测试。在由两位视网膜专家进行的盲评测试中，MORG生成的报告获得了4.55分（满分5分），与眼科医生撰写的报告（4.63分）相当，且显著优于其他模型，如GPT-4和MiniGPT-4等大语言模型和图像描述模型。

3、分类指标。MORG在对16种视网膜病理类型的分类任务中，准确率、精确率、召回率和F1分数均表现优异，显示出强大的疾病识别能力。特别是对于具有明显特征或训练样本充足的病变类别，如视网膜水肿和增厚、神经上皮层脱离等，其F1分数均超过0.8。

4、时间效率评估。MORG模型显著提高了报告撰写效率，将眼科医生撰写报告的时间减少了58.9%。

5、定性分析。通过具体案例分析，MORG生成的报告在描述OCT图像特征时，与眼科医生的报告同样精确。相比之下，其他模型如MiniGPT-4和GPT-4在识别OCT图像中的异常或病变方面存在明显不足，且常生成与视网膜OCT图像无关的内容，导致其报告在临床实践中实用性较低。

MORG模型首次从视网膜OCT图像自动生成高质量诊断报告，其表现与专业眼科医生相当，大幅缩短报告撰写时间，有效减轻医生工作负担。该模型在多语言及多领域医学成像应用中的具有巨大潜力。MORG的推出，不仅推动了眼科视网膜图像诊断向智能化发展，还显著提升了诊断效率，改善了医疗资源的分配不均问题。未来，随着技术的不断完善和广泛应用，人工智能将在医疗健康领域扮演更加重要的角色，为守护人类健康福祉贡献更大力量。

 论文链接：https://doi.org/10.1038/s41746-025-01988-2