中国农业大学工学院张小栓教授课题组在多模态信息融合与农业智能诊疗应用领域取得重要进展

近日，工学院张小栓教授课题组在信息系统领域权威期刊《工业信息集成》（Journal of Industrial Information Integration）连续发表2篇研究论文，围绕作物病虫害智能诊疗关键问题，构建了面向智慧农业的多模态智能分析新方法，为提升作物病虫害数字化诊疗水平和智能决策能力提供了新的思路和技术路径。

针对现有作物病虫害诊断方法在多模态深度融合、可解释性和跨作物泛化能力方面的不足，课题组构建了面向复杂农业场景的多模态大模型CropGPT。相关成果《CropGPT：高精度、可解释的作物病虫害多模态诊断大模型》（CropGPT: A large multimodal model for precise and explainable diagnosis of crop pests and diseases）在《工业信息集成杂志》（Journal of Industrial Information Integration）发表。

该研究提出了融合视觉编码器与大语言模型的端到端框架。其中视觉编码器通过多尺度特征融合机制，协同提取病虫害图像的全局信息、局部细节和目标区域特征，提升复杂田间背景下的细粒度识别能力；大语言模型则引入诊断推理链，使模型在输出诊断结果的同时生成有据可循的诊断依据，增强可解释性与交互性；进一步提出推理阶段知识增强策略，在无需重新训练的条件下提升了对未见作物病虫害的零样本诊断能力。实验结果表明，CropGPT在病虫害诊断、图像描述和推理任务上均优于现有方法，诊断准确率达到0.931，在10种未见作物上的零样本诊断准确率达到0.795，为构建面向全作物、可解释的高精度智能诊断模式提供了重要支撑。

工学院博士后张一丁为该研究的第一作者，工学院张小栓教授和信息与电气工程学院的张领先教授为共同通讯作者。本研究获得了国家自然科学基金和中国博士后科学基金的资助。

面向作物电子病历中图像、文本和环境等多源异构信息难以有效协同的问题，课题组提出了农业处方推荐模型AgriPR，相关成果《基于作物电子病历多模态信息的农业处方优化推荐系统》（Multimodal-information-based optimized agricultural prescription recommendation system of crop electronic medical records）在《工业信息集成杂志》（Journal of Industrial Information Integration）发表。

该研究针对农业处方推荐中“同病不同治、异病可同药”的决策特征，利用任务自适应预训练BERT与ConvNeXt分别提取文本和图像特征，并设计双线性注意力与多层特征融合机制，进一步结合Transformer强化关键跨模态信息表征，实现了对13类常见处方的精准推荐。结果表明，该模型在真实植物诊所数据集上的分类准确率达到98.88%，显著优于现有方法，并在噪声图像、不完整模态输入及缺失部分病情信息等条件下仍表现出较强鲁棒性，为模型在真实农业场景中的应用奠定了基础。

信息与电气工程学院的徐畅和丁俊琦为该研究的共同第一作者，工学院博士后张一丁为通讯作者，工学院张小栓教授在研究过程中全程提供支持与指导。本研究获得了国家自然科学基金和中国博士后科学基金的资助。