文章导读
你是否厌倦了遥感模型依赖海量标注数据和复杂微调？武汉大学张永军/李彦胜团队联合蚂蚁集团发布全新语义增强遥感大模型SkySense++，首创多粒度对比学习与掩码语义学习范式，仅需少量提示即可完成任务，免微调部署惊艳登场。基于2700万组多模态影像训练，在农业、灾害、国土等12项任务中全面领先，平均精度提升近5%，分割性能飙升14%。真正实现高效、通用、强泛化的地球观测智能，颠覆传统遥感应用模式。
— 内容由好学术AI分析文章内容生成，仅供参考。
（通讯员何迁迁）近日，《自然·机器智能》（Nature Machine Intelligence）在线发表了题为“A semantic-enhancedmulti-modal remote sensing foundation model for earth observation”的研究论文，提出并公开了新一代语义增强遥感大模型SkySense++，为迈向通用地球观测智能提供了全新解决方案。
武汉大学教授张永军、李彦胜与蚂蚁集团资深算法专家陈景东为论文通讯作者，武汉大学博士生武康与蚂蚁集团算法专家张营营、汝理想为论文第一作者。研究成果得到蚂蚁集团杨铭、王剑等专家的学术指导。武汉大学遥感信息工程学院为第一作者单位。
当前，遥感基础大模型虽然展现出较大潜力，仍面临多模态遥感影像数据融合性能有限、下游任务微调数据依赖性强、遥感语义信息利用不充分等挑战，限制了其在复杂动态地球观测场景中的普适性应用。针对上述挑战，研究团队在前期多模态遥感大模型SkySense的基础上，研发了新一代语义增强多模态遥感大模型SkySense++。
基于来自11个卫星载荷的2700万组多模态遥感影像，SkySense++采用两阶段渐进式学习完成预训练。第一阶段的表征增强预训练，首创多粒度对比学习范式，通过引入像素级-目标级-图像级的多层级对比学习机制，引导模型学习跨粒度表征关联，以适配不同空间粒度的下游任务。这一过程有效捕获跨模态多粒度视觉表征，赋予模型通用的视觉表征能力。第二阶段的语义增强预训练，首创掩码语义学习范式，通过对大规模有标签数据进行语义标注的掩码和重建，引导模型深度理解像素和区域级的语义上下文关联。这一过程显著提升模型的语义感知与表征能力，并赋予模型上下文感知能力。该能力使模型仅需提供少量标注样本作为提示，无需微调即可完成新的地球观测任务。这一特性显著缓解了大模型对复杂微调流程和高昂标注数据的依赖，提升了模型的实用性与泛化性。
SkySense++的预训练流程
在农业、林业、灾害管理等7个领域的12种典型地球观测任务上，研究团队对SkySense++进行了全面评估。实验结果表明，SkySense++在12项典型地球观测任务上均取得了最优性能。相比同期最先进方法，SkySense++在全量微调分类与检测任务上平均精度提升4.79%，在少样本提示分割任务上平均交并比提升14.08%。
SkySense++在典型地球观测任务上的性能表现
据介绍，SkySense++前序版本SkySense在国际计算机视觉领域顶会CVPR发表并在2024年世界人工智能大会发布，在蚂蚁集团的普惠金融等多个业务上发挥了重要作用，得到国内外权威专家的正面引用评价。与SkySense相比，SkySense++在农业生产评估、灾害应急响应、国土资源监测等任务上都展现出更优异、更稳定的性能，尤其新增具备了免微调部署能力。展望未来，研究团队将致力于降低遥感大模型的预训练成本、提升遥感大模型的数据与设备适配性，推动地球观测智能向低成本、高泛化方向发展，为全球可持续发展等国际重大议题提供可靠的技术支持。
论文链接：https://www.nature.com/articles/s42256-025-01078-8
（编辑：肖珊）
© 版权声明
本文由分享者转载或发布，内容仅供学习和交流，版权归原文作者所有。如有侵权，请留言联系更正或删除。
相关文章
暂无评论...