清华大学自动化系赵明国团队提出人形机器人反应式踢球技能学习新框架

近日，自动化系研究员赵明国团队提出一套将真机视觉不确定性直接纳入强化学习训练回路的学习框架，并在Booster T1人形机器人上实现了反应式踢球能力。

人形机器人足球是具身智能的代表性挑战，要求机器人在动态环境中将敏捷运动控制与不可靠视觉感知紧密耦合。已有系统多依赖模块化流水线，将感知与控制解耦或预设理想传感，致使机器人在受限的真实感知下难以产生连贯、敏捷的行为。

该研究提出的机器人运动技能学习框架，将视觉感知与运动控制端到端耦合：在仿真中以对抗运动先验（AMP）引导策略习得类人自然动作；以虚拟感知系统建模本体视觉，让策略在不完美观测下进行训练；并采用编解码器结构对带噪历史观测做时序压缩与特权状态重建，隐式完成球位置的估计，令策略在无动捕设备的条件下实现抗噪的“感知–动作”闭环。

真机仅凭本体视觉即可连贯执行搜球、追球与多方向踢球；与基线方法相比，球位置估计误差降低了46%，触球时间最多缩短了64%，前场射门成功率约达90%。

图1.视觉驱动的机器人控制系统概览

采用该方法，机器人在多种环境、动态场景及机器人世界杯（RoboCup）真实赛事中均展现了优秀的踢球技能。在敏捷性与射门精度方面，按照机器人世界杯（RoboCup）场地规格，前场射门成功率约达90%，后场保持60%–70%的成功率，真机表现与仿真高度一致且全程零摔倒。在实现感知-动作反应式闭环控制方面，机器人可在视觉驱动下调整头部与躯干朝向，将球稳定维持在相机视野中心，提升动态场景下的追踪鲁棒性。在真实赛事与复杂场景验证实战价值方面，该控制器作为核心技术模块，支撑清华大学火神队连续斩获近两年机器人世界杯（RoboCup）人形组比赛冠军与2025世界人形机器人运动会5V5比赛冠军。此外，策略完全在仿真环境中训练，零样本部署即可适配草地、石板、土壤、沥青等多种地形与光照条件。

图2.机器人在真实比赛等多种环境下的表现

图3.射门成功率及找球和步态行为分析

该研究成果以“面向人形机器人的视觉驱动反应式足球技能学习”（Learning vision-driven reactive soccer skills for humanoid robots）为题，于8月19日发表在《科学·机器人学》（Science Robotics）。

清华大学自动化系2024级硕士研究生王与时为论文第一作者；清华大学自动化系赵明国研究员为论文通讯作者。研究工作由清华大学自动化系、字节跳动Seed团队、中国农业大学工学院、清华大学具身智能与机器人研究院联合完成。

该研究得到了科技创新2030重大项目、北京市自然科学基金、清华大学追光计划的资助。研究同时得到了加速进化的机器人平台与实验设施支持以及北奥集团的测试场地支持。

论文链接：

https://www.science.org/doi/10.1126/scirobotics.aed1152

供稿：自动化系

编辑：李华山

审核：王晓霞