中国农业大学土地学院郭浩副教授团队在视觉基础模型赋能表型理解领域取得重要进展

近日，中国农业大学土地科学与技术学院郭浩副教授团队围绕智慧农业中的关键点检测问题，在人工智能与农林交叉学科领域国际权威期刊Computers and Electronics in Agriculture发表2项研究成果。两项研究均聚焦家畜关键点这一动物视觉表型理解的基础任务，分别从跨物种关键点检测评价基准构建和基于预训练基础模型的无监督关键点检测方法两个方向展开，为家畜姿态估计、体尺测量、体型外貌评价和行为理解等下游任务提供了数据、技术方法和评价支撑。

论文《自动化家畜表型的无监督关键点检测：基于预训练基础模型的跨物种方法》（Unsupervised keypoint detection for automated livestock phenotyping: A multi-species approach based on pre-trained foundation models）第一作者为土地科学与技术学院博士研究生韦冰雪，郭浩副教授和动物科技学院苏华维教授为共同通讯作者。该研究面向家畜关键点检测对人工标注依赖较强、跨物种泛化能力不足的问题，提出了一种基于预训练基础模型的无监督关键点检测方法。

论文《面向精准畜牧业的前沿关键点检测方法的性能评估》（Performance evaluation of a state-of-the-art keypoint detection method for precision livestock farming）第一作者为土地科学与技术学院硕士研究生王奕为，郭浩副教授为通讯作者。针对目前畜牧关键点检测方法缺乏统一评测、公开多物种数据集与可复现基线相对不足的问题，团队构建了一个高分辨率、多物种家畜关键点数据集，并在统一训练与评测设置下对多种先进框架开展系统对比分析，有望为精准畜牧领域的关键点检测研究提供可复现、可比较的公共基准，促进算法迭代与工程落地。

该研究构建了覆盖马、牛、羊、猪四类家畜的多物种图像数据集，共2204张图像，其中马804张、牛309张、羊767张、猪324张，包含左视、右视和俯视等多视角图像，并覆盖站立、行走和跳跃等典型姿态。侧视图像标注14个关键点，覆盖头部、颈部、四肢、躯干和尾根等核心解剖部位；俯视图像标注10个关键点，覆盖双耳、颈部、肩部宽点、髋部宽点、肩/髋中线中心和尾根等部位。

在方法上，研究融合Stable Diffusion在细粒度纹理感知和空间细节表达方面的优势，以及DINOv2在结构语义相似性建模方面的能力，通过特征归一化与加权融合实现多尺度语义对齐。针对单一模板在姿态差异、非刚性形变和背景干扰条件下容易产生异常匹配的问题，研究进一步提出多模板投票机制，结合Mean-Shift聚类，对多个参考模板得到的候选关键点进行稳健融合，从而提升关键点定位的稳定性。

实验结果表明，预训练基础模型特征融合与多模板投票机制能够有效增强家畜关键点检测在姿态变化、非刚性形变和跨物种场景中的适应能力，为新物种、新场景和低标注数据条件下的视觉表型分析提供了新的技术路径。

不同物种关键点检测结果

不同视角下的无监督关键点检测结果

不同姿态下的无监督关键点检测结果

总体来看，两项研究的切入角度不同，但均围绕动物关键点检测这一智慧养殖视觉感知基础问题展开。前者侧重建立统一、可复现、可比较的评测基准，帮助研究者和工程人员明确不同关键点检测模型在精度、泛化和部署效率上的差异；后者侧重探索低标注依赖条件下的无监督检测方法，提升模型在多物种、多姿态和复杂场景中的迁移应用能力。

动物关键点检测是连接原始图像与高层表型信息的重要中间环节。稳定可靠的关键点定位结果，可进一步支撑体尺自动测量、体型外貌评价、步态与姿态分析、异常行为识别和智能健康监测等任务。两项成果从数据基准、评价方法和算法创新等方面，为人工智能技术服务精准畜牧和智慧养殖提供了基础支撑，也为后续构建多物种、多场景、多模态的动物视觉表型分析体系奠定了基础。

本研究得到国家重点研发计划(2021YFD1300502-01)、国家自然科学基金(42071449、41601491)项目、2115人才培育发展支持计划“智能养殖与饲料高效利用团队”国家级创新团队、2024年现代农业产业技术体系北京市智慧农业创新团队等支持。相关工作得到了动科学院曹志军、苏华维、王勤、李建功和信电学院李振波、刘刚等多位教授支持，研究团队深耕三维视觉技术、动物遥感技术及农业相关应用领域16余年，率先提出了三维视觉解决动物非接触式感知的理论与技术体系，目前已经成为牧原集团等农业龙头企业中智慧养殖领域的主流方案，推动了三维视觉技术在农业领域的智能化应用。编写《点云配准从入门到精通》等三维视觉和人工智能领域相关教材4部，对于国内三维视觉技术的普及推广意义重大，在人工智能与农林交叉学科领域国际权威期刊Computers and Electronics in Agriculture和Biosystems Engineering上发表50余篇论文，他引次数2000+。

代码与数据链接1：https://gitee.com/wbxue/keypoints

代码与数据链接2：https://github.com/yww0411/Livestock-keypoint-detection（校内需要登录网关）