中国农业大学信电学院张漫团队在面向智能农机自主导航的非结构化农田障碍物安全感知领域取得重要进展

近日，中国农业大学信息与电气工程学院张漫教授团队在中国工程院院刊Engineering农业传感器专题发表研究论文《农业障碍物少样本及零样本三维检测的多模态特征表示机制》（Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples）。该论文面向智能农机自主导航对田间障碍物安全感知的迫切需求，提出了一种基于多模态特征表示机制的农业障碍物少样本及零样本三维检测方法，为非结构化农田环境下农业机械安全可靠自主作业提供了新思路。

Engineering由中国工程院于2015年创办，聚焦具有重大经济社会意义和世界先进水平的工程科技成果，已被SCI、EI、Scopus等收录，曾位居全球工程综合领域期刊影响因子排名榜首。

农业机械自主导航是农业装备智能化的重要支撑，而复杂农田环境中的障碍物安全感知是保障自主作业可靠运行的关键环节。近年来，融合相机与激光雷达数据的深度学习方法在三维障碍物检测中取得显著进展，但相关方法通常依赖大规模标注训练数据。农田场景具有非结构化、季节差异明显、障碍物类型复杂等特点，多模态数据采集和标注成本高，模型在少样本甚至零样本条件下的泛化能力仍是制约其落地应用的重要问题。

针对上述挑战，研究团队提出了面向农业障碍物少样本及零样本三维检测的多模态特征表示机制。该方法集成图像与点云姿态校正器，利用北斗导航卫星系统和惯性测量单元提供的姿态信息校正田间崎岖地形造成的样本姿态偏差，提高多模态数据的准确性、可靠性和一致性；同时构建语义特征编码器、几何-强度特征编码器和鸟瞰图空间融合解码器，将图像语义信息与点云几何、强度信息统一到语义-几何-强度融合表征空间中，从而捕获类别之间的关键关系，提升模型在有限标注条件下识别新类别障碍物的能力。

典型场景中的可视化检测结果

研究团队在中国农业大学涿州试验站开展了田间试验，试验覆盖水泥路、未耕种土地和小麦地等典型农业机械作业场景，采集了收割机、拖拉机、人员等典型障碍物的多模态数据。实验结果表明，所提方法在检测性能、运行效率和数据依赖之间实现了较好平衡，可将模型对训练样本的依赖降低30%-40%；在完整训练设置下，精确率、召回率、F1分数和检测速度分别达到95.03%、97.01%、96.01%和16.56 FPS。即使在完全未知的零样本场景中，即障碍物类别没有任何对应训练样本，所提方法仍取得81.63%的F1分数，体现了其在复杂农业场景中的泛化潜力。

该成果有助于降低农业复杂环境下三维障碍物检测对大规模标注数据的依赖，提升智能农机在未知障碍物、复杂地形和多类别目标条件下的安全感知能力，为农业机械自主导航、动态避障和智慧农业装备可靠运行提供了技术支撑。

论文由中国农业大学、北京林业大学、中车研究院等单位合作完成，中国农业大学为第一署名单位，张漫教授为论文通讯作者，2021级硕士研究生、2024年校级优秀硕士论文获得者王天海为论文第一作者。研究得到国家重点研发计划（2022YFD2001600-2022YFD2001601）资助。受Engineering期刊特邀，张漫教授于2026年6月30日参加Engineering大讲堂“农业传感器”专题讲座，在线报告了本研究成果。体现了团队相关研究成果在农业传感器、智能感知与智慧农业装备领域的学术影响力。