武汉大学张永军/李彦胜团队在遥感大模型分布式协同学习方向取得新进展

（通讯员谭杰议）近日，The Innovation（IF=33.2）在线发表了武汉大学遥感信息工程学院张永军/李彦胜教授团队最新评论文章。论文题目为“Unleashing the potential of remote sensing foundation models via bridging data and computility islands”（打破数据与算力孤岛，释放遥感基础大模型潜力）。李彦胜教授为论文第一作者，张永军教授、蚂蚁集团杨铭研究员为论文通讯作者。合作者包括武汉大学、俄罗斯科学院、蚂蚁集团、上海人工智能实验室、美国普渡大学等国内外知名机构学者和研究生。

在当前的遥感领域，数据与算力的分散化问题较为突出，这受到隐私保护、存储限制、行业竞争以及地理信息安全等多方面因素的影响。为应对这一挑战，研究团队着眼于分布式协同预训练的新模式，重点围绕遥感基础大模型的协同训练与推理环节展开研究，旨在探索如何有效整合分散的遥感数据和分布式计算资源，并对协同式架构释放遥感基础大模型潜力的可行性进行了分析。在此基础上，研究团队呼吁政府数据中心、企业机构以及高校研究团队等各方力量，在确保隐私保护的前提下，共同参与遥感基础大模型建设，并共享其时空智能服务，以构建全球协作网络，充分盘活孤岛式的遥感数据与算力资源。

图1 打破遥感数据与算力孤岛，迈向地球观测通用智能

团队构建了全球首个顾及隐私保护的遥感基础模型分布式协同预训练框架FedSense，可以灵活支持基于对比学习和掩码重建的自监督学习。为了解决协同预训练面临的遥感数据异质性与高通信开销引发的恶性循环挑战，团队提出了一种联邦互指导学习方法。在该方法中，服务器与客户端进行双向互相指导，服务器端引导客户端进行正交条件下的自稳定参数更新，客户端引导服务器进行低比特通信下的知识注入。基于FedSense，团队实现了10个参与机构在百万量级遥感影像上开展遥感基础模型高效协同预训练。实验结果表明，多个参与机构通过FedSense开展遥感基础模型的协同预训练，可以实现机构之间的高效合作共赢。基于FedSense协同预训练的遥感基础模型相较于基线方法在场景分类、目标检测、语义分割、变化检测等8个遥感领域典型的下游任务数据集上，取得了显著的性能提升。在将通信开销压缩至全精度传输的1/32时，FedSense仍然能够保持良好的优化性能，并且随着参与方数量的不断增多，模型性能可以实现稳步提升。

图2 遥感基础模型分布式协同预训练框架FedSense与多机构遥感预训练数据集示意图

展望未来，团队将致力于研究多模态遥感基础模型的安全可信多方协同预训练技术，响应国家发布的《可信数据空间发展行动计划》，支持建设可信可管、互联互通、价值共创的遥感数据空间，助力迈向地球观测通用智能。

（编辑：肖珊）