港中文深圳卫星成像技术实现地面清晰识别

这项由香港中文大学（深圳）理工学院、上海人工智能实验室与西南交通大学地球科学与工程学院联合开展的研究，于2026年7月2日以arXiv预印本形式发布，论文编号为arXiv:2607.02471。

先梳理几个关键背景。

一颗卫星每天绕地球飞行十几圈，用光学相机记录着地面的一切——城市的扩张、森林的变迁、农田的生长。然而，地球大气层中有一个让遥感科学家头疼了几十年的“老朋友”：云。全球大约60%到70%的地表在任何时刻都被云层覆盖，这意味着卫星拍摄的照片中，相当一部分不过是一幅白茫茫的云海。下面到底是森林、建筑还是水体？谁也无法得知。

于是，“去云”（Cloud Removal，简称CR）技术应运而生。顾名思义，就是用算法将照片中的云彩“擦除”，还原出云层下方地面的真实面貌。这听起来像是修图软件里的“一键消除”，但背后的难度远超想象——尤其是当厚厚的积云完全遮蔽地面信息时，算法实际上需要在“什么都看不见”的情况下凭空推断地面长什么样。

香港中文大学（深圳）、上海人工智能实验室和西南交通大学的研究团队在这个经典问题上发现了一个长期被忽视的隐患：现有的去云算法虽然能让修复后的照片“看起来很美”，但修复出来的图像在被后续的分析程序（如识别建筑物、分类土地类型）使用时，往往表现得比人们预期的要差。换句话说，算法修出来的图像让人眼觉得不错，但机器的“眼睛”却发现了问题。这项研究的核心贡献，就是提出了一套名为GACR（Geo-Anchored Cloud Removal，地理锚定云去除）的新框架，让去云后的图像不仅好看，而且“好用”。

一、卫星照片里的云，到底是个什么麻烦

要理解这项研究的价值，先得弄清楚云对卫星图像究竟造成了什么损害。

在遥感领域，卫星图像不只是供人欣赏的风景照，它们是支撑一系列重要分析的数据基础。城市规划师用它来追踪建筑扩张，生态学家用它来监测植被覆盖，灾害管理部门用它来评估洪涝范围。这些分析背后，都依赖计算机程序自动识别图像中的地物类型——这栋是建筑、那片是树林、这里是道路。

当云层出现时，它就像一块橡皮擦，抹去了地面信息。薄云的情况还好，地面依稀可见，算法有一定的参考依据。但厚云就完全不同了——地面信息被彻底封锁，算法必须在几乎没有任何线索的情况下“脑补”出地面的样子。

现有的去云算法大体上分为两类。第一类叫“去噪型”方法，它把云层当成叠加在清晰图像上的噪声，训练神经网络学习“去掉噪声、恢复原图”的映射关系。这类方法在薄云场景下还算称职，但在厚云情况下往往陷入困境，因为它底层假设云只是“轻微干扰”，而厚云带来的是“信息彻底缺失”，两者根本不是一回事。修出来的图像往往模糊、平滑，缺乏细节。

第二类叫“生成型”方法，近年来以扩散模型（Diffusion Model）为代表兴起。这类方法的思路是：既然信息缺失了，干脆从头“创造”出符合逻辑的地面样貌。扩散模型的工作原理类似于一个艺术家从一堆随机噪点出发，一步步勾勒出一幅画作。它们在生成视觉上逼真的纹理方面确实很有一套，但问题也在这里——这种“创造”缺乏对真实观测数据的约束，生成的内容有时会偏离实际的地理实情。比如，一片实际上是停车场的区域，可能被“脑补”成了绿地；一栋实际走向是南北的建筑，可能被还原成了东西走向。这种“视觉上合理但地理上错误”的现象，研究团队称之为“语义漂移”。

更根本的问题在于：几乎所有现有的去云方法，优化目标都是让修复后的图像在像素层面尽量接近真实的无云照片，常用指标是PSNR（峰值信噪比）和SSIM（结构相似性）。这类指标关心的是“像素值差多少”，但它们完全不关心“地物类型有没有被保留”。于是就出现了一个耐人寻味的悖论：一张PSNR很高的去云图像，拿去做语义分割时，识别准确率可能还不如PSNR较低的另一张。

这就是研究团队要解决的核心矛盾：如何让去云后的图像既在视觉上高保真，又在语义上忠实于真实的地理环境？

二、两个互补的核心发明：一个稳住轨迹，一个守住意义

研究团队给出的解决方案包含两个相互配合的模块，可以用一个统一的比喻来理解：把去云过程想象成一位经验丰富的地图修复师从一张破损的地图出发，逐步还原原图的工作流程。

第一个模块叫做“观测锚定残差流”（Observation-Anchored Residual Flow，简称OAR-Flow）。它解决的是“从哪里出发”的问题。传统扩散模型的做法是：先把图像彻底打乱成一堆随机噪点，然后从这堆噪点出发，一步步“反推”出清晰图像。这就好比修复师把手上那张破损地图扔掉，然后从一张空白纸开始凭记忆重画——显然，这种做法会丢失原有地图中那些虽然残缺但仍有价值的信息。

OAR-Flow的改进思路是：不要扔掉那张破损的地图，而是以它为起点，在它的基础上进行修复。用数学语言来说，传统方法的生成轨迹从纯粹的随机噪声出发；OAR-Flow则让起点落在“含云观测图像附近”，以含云图像为“锚点”，通过一条更短、更有方向感的轨迹抵达清晰图像。

这个机制还有一个聪明的自适应特性。对于薄云区域，地面信息仍有部分保留，OAR-Flow会让“含云观测”在整个修复轨迹中占据主导地位，像一位修复师小心翼翼地顺着隐约可见的线条去描摹；对于厚云区域，地面信息几乎全无，OAR-Flow会给轨迹注入更多“随机扰动”，为算法提供必要的创造性自由度去填补空白。换句话说，算法能根据云的厚薄自动在“保守修复”和“大胆创造”之间调节，而不是对所有区域一刀切。

从技术层面看，OAR-Flow定义了一个时间插值公式：在时间步t，中间状态等于“清晰图像的(1-t)倍加上含云图像的ρt倍再加上高斯噪声的t倍”，其中ρ是一个控制观测锚定强度的参数。当t=0时，中间状态就是清晰图像本身；当t=T（终点）时，含云图像的影响占据主导。整个反向推理过程从t=T走回t=0，就是从“含云+噪声”的混合状态一路还原到清晰图像的过程。神经网络的任务是在每一个时间步预测“速度场”——即当前状态应该往哪个方向移动、移动多快。这个速度场由三个分量构成：清晰目标的引导、含云观测的锚定，以及随机噪声的探索，三者协同工作，使轨迹既有约束又有灵活性。

通过实验验证，这种观测锚定的设计带来了一个非常实际的好处：收敛速度大幅提升。与对比方法EMRDM相比，OAR-Flow单独使用时，达到相同图像质量所需的训练步数缩短至约三分之一，即实现了约3倍的收敛加速。

然而，修复师光把地图画得“像”还不够——他还得保证地图上标注的地物类型是对的，不能把一条河流画成一条公路。这就引出了第二个模块：地理情境先验对齐（Geo-Contextual Prior Alignment，简称GCPA）。

GCPA解决的是“修出来的东西在语义上对不对”的问题。它的核心思路是：借助一个已经在海量图像上训练好的“视觉基础模型”（Vision Foundation Model，简称VFM），为去云过程提供语义层面的约束。

具体的VFM选用的是DINOv3，这是一个由大量数据预训练的强大视觉编码器，能够提取图像的深层语义特征——比如“这个区域的特征向量应该和建筑区域的特征向量相似”、“这个区域的模式更接近植被而非水体”。研究团队让VFM对真实的无云图像提取一组“地理情境先验”特征，然后在训练去云网络的同时，要求网络中间层的特征表示与这组先验特征保持对齐。

这个对齐约束通过一个叫做“地理情境完整性损失”（GCI Loss）的数学目标函数来实现，本质上是计算两组特征向量之间的余弦相似度，并要求它尽量高。简单来说，就是在像素层面的修复约束之外，额外加了一条“语义层面的约束”——修出来的图像不仅要在像素上像，还要在语义特征上像。

值得一提的是，用于GCPA的VFM（DINOv3）和用于下游评测的视觉编码器是完全独立、不共享参数的两套模型。这个设计保证了评测的公平性：你不能说“因为训练时用了DINOv3，所以测试时用DINOv3评测自然得分高”。两者的独立使得评测结果更有说服力。

整个GACR框架的训练损失是OAR-Flow的速度匹配损失与GCPA的地理情境完整性损失的加权之和，权重系数λ默认设为0.5。消融实验表明，在λ=0.5时，图像质量和下游任务精度之间的权衡最优；λ过小会牺牲语义约束，λ过大则会过度压制像素层面的精细修复。

三、框架背后的技术支撑：Hourglass扩散变换器

GACR的神经网络骨干选用的是HDiT（Hourglass Diffusion Transformer，沙漏扩散变换器）。相比于在隐空间（latent space）中操作的潜扩散模型，HDiT直接在像素空间进行重建，这对于像去云这样需要精确像素级恢复的任务来说更为合适。

HDiT的计算量与传统Transformer相比也更为高效。在本文的配置下，GACR（patch size=2，即每2×2像素作为一个基本处理单元）的计算量约为56.05 GFLOPs，而对比方法中较重的MPRNet约为548.65 GFLOPs，EMRDM约为166.72 GFLOPs。GACR在更低计算量的同时取得了更好的性能，说明OAR-Flow和GCPA带来的是质量层面的根本提升，而非通过堆砌计算量换来的。

研究团队还测试了两种不同的patch size配置：patch size=2和patch size=1（即每个像素独立处理）。patch size=1能进一步提升重建精细度，在部分数据集上PSNR可再提升约0.5-0.9 dB，但计算量增至223.60 GFLOPs，大约是patch size=2配置的4倍。综合考虑效率与公平比较，主要实验采用patch size=2。

GCPA中的自适应投影器（Adaptive Projector，ADP）负责把HDiT骨干中间层的特征向量映射到与VFM特征相同的表示空间，以便进行逐块余弦相似度的比较。这个投影器由自适应平均池化、特征重排和多层感知机三个部分组成，计算开销很小，但为整个框架提供了语义对齐的关键桥梁。

关于OAR-Flow中锚定强度参数ρ的消融实验显示，当ρ从0逐步增加到3时，PSNR从32.264 dB稳步提升至33.018 dB；超过3之后，PSNR开始微弱下滑，在ρ=5时降至32.672 dB。这说明适度的观测锚定确实有助于稳定修复轨迹，但过强的锚定反而会限制模型在厚云区域的生成能力。最终采用ρ=3作为默认值。

四、考场：六个数据集，十二项下游任务

为了全面评估GACR，研究团队构建了一个涵盖6个去云数据集和12项下游任务的综合测试平台，这在去云领域是目前规模最大、覆盖最广的评测体系之一。

数据集方面，研究团队使用了两个公开数据集CUHKCR-EXT-GZ和CUHKCR-EXT-CS，均来自吉林一号卫星拍摄的0.5米超高分辨率中国城市图像，前者以薄云为主，后者厚云比例更高。此外，研究团队还自行构建了四个合成云数据集：基于ISPRS Potsdam和ISPRS Vaihingen两个经典城市场景数据集，分别合成薄云版和厚云版，共四个数据集。云的合成采用大气散射模型和可控厚度参数，确保不同图像有不同的云形，而同一图像在薄云和厚云版本中保持相同的云结构形态，实现了严格的对照实验条件。

下游任务评测涵盖了四类：土地覆盖分类（CLS，使用CUHKCR-EXT数据集，2个子任务）、建筑提取（BLD，同上，2个子任务）、语义分割（SEG，使用四个合成数据集，4个子任务）和高度估计（HE，同上，4个子任务），共12项任务。

评测框架的设计颇为精巧：先用清晰无云图像训练好下游任务的神经网络，然后把各方法的去云结果直接送入这些固定不变的网络，通过下游任务的精度变化来衡量去云质量。这样的设计绕开了“各自训练各自测”带来的变量干扰，能够相对公平地反映去云结果本身的语义保留能力。

下游网络采用冻结参数的DINOv3作为视觉编码器，搭配轻量级任务特定解码器。分类任务用class token接线性分类器；分割和高度估计任务用patch tokens经过四次上采样解码器还原到原始分辨率。建筑提取输出二值概率图，语义分割输出多类别概率图，高度估计输出归一化高度图并乘以25.5的比例系数换算为实际高度值（单位：米）。

参与对比的基线方法共6个，涵盖了目前主流的各类去云技术：CNN类方法MPRNet、Transformer类方法Restormer和AST、Mamba类方法MambaIR、动态滤波方法DFCFormer，以及扩散模型方法EMRDM。所有基线均在相同数据划分下重新训练，确保公平比较。

五、实验结果：数字背后的故事

图像重建质量方面，GACR在六个数据集上的表现全面超越了所有基线方法。

在CUHKCR-EXT-CS数据集上，GACR-SAT/1（patch size=1，SAT权重）取得了24.354 dB的PSNR，比最强基线（EMRDM，25.862 dB）高出约0.5 dB。在四个合成云数据集上，GACR的优势更为突出。以Vaihingen-CR-thin为例，GACR-SAT/1取得了36.918 dB的PSNR，而第二名EMRDM为33.620 dB，提升幅度高达3.3 dB。在Vaihingen-CR-thick（厚云）数据集上，GACR-SAT/1取得34.048 dB，比EMRDM的28.979 dB提升了约5.1 dB。

在厚云场景下，GACR的优势尤为显著——这验证了观测锚定机制在信息严重缺失时的价值。从SSIM指标来看，GACR在各数据集上也保持了领先，多个数据集上达到0.990至0.991的极高水平。

下游任务表现同样值得关注。以使用ViT-L/16-LVD-1689M权重评测的结果（Tab.2）为例，GACR-SAT/2在土地覆盖分类CLS-1任务上达到0.833的准确率，比最强基线（AST的0.813）提高2个百分点；在建筑提取BLD-2上达到0.710的IoU，超过EMRDM的0.696。在语义分割任务上，GACR-SAT/2在SEG-2（对应厚云场景）达到0.699的mIoU，比EMRDM的0.668提高3.1个百分点。高度估计方面，GACR-SAT/2在HE-2达到2.014的RMSE，远低于EMRDM的2.133，说明修复后的图像能更准确地支持三维高度推断。

研究团队还把GACR与“上界”（直接用清晰无云图像测试）和“下界”（直接用含云图像测试，不做去云处理）做了对比。GACR在多个任务上已经非常接近上界水平，而且在某些指标上甚至超越了“端到端直接在含云图像上训练和测试”的方法（这种方法相当于让下游模型自己学会忽略云的干扰），这进一步证明了高质量去云对下游任务的价值。

关于分类任务（CLS）表现的一个细节值得专门说明：分类任务对云的干扰相对不敏感——即使含云图像直接送入分类网络（下界），分类准确率的下降也比分割、高度估计等密集预测任务小得多。通过t-SNE可视化分析，含云图像提取出的类token在特征空间中仍然能形成与无云图像相似的聚类结构。这说明全局语义表示对局部云遮挡有一定的鲁棒性，分类任务从去云中获益有限。相比之下，分割和高度估计需要逐像素准确，云对局部区域的遮蔽会造成不可忽视的精度损失，去云的价值在这里才得到充分体现。

收敛速度对比方面，GACR（OAR-Flow+GCPA联合）相比EMRDM实现了约5倍的收敛加速。单独的OAR-Flow（不含GCPA）已经比EMRDM快约3倍，加上GCPA后进一步加速。这一发现具有很强的实践意义：训练成本减少至五分之一，意味着同样的算力可以探索更多的设计变体，或在更大规模数据上训练。

特征分布对齐的可视化结果同样直观地支持了GACR的语义保留能力。研究团队计算了各方法去云结果与对应无云参考图像在VFM特征空间中的距离分布。含云图像与无云图像的特征距离分布明显偏移；EMRDM缩小了这个偏移；GACR进一步缩小，使两个分布的重叠度最高，说明GACR修复的图像在语义特征空间中最接近真实无云图像。此外，研究团队还引入了CKNNA（一种衡量特征近邻结构保持度的指标）进行量化对比，GACR在六个数据集中的多数上都取得了最高分，与上述结论一致。

六、消融实验的细节：每个设计都有其价值

消融实验部分系统地验证了框架中各设计选择的贡献。

在模型结构消融方面，研究团队对比了四种配置：DiT骨干+MRDM生成过程、HDiT骨干+MRDM、HDiT骨干+OAR-Flow、以及完整的HDiT+OAR-Flow+GCPA。结果显示，从DiT切换到HDiT能大幅降低计算量（从697.20 GFLOPs降至166.72 GFLOPs），同时在部分指标上保持了竞争力。从MRDM切换到OAR-Flow进一步把GFLOPs降至56.05，PSNR从23.736提升至23.986，下游分类准确率从0.726提升至0.690（注：此处分类略有下降但建筑提取提升）。加入GCPA后，PSNR进一步提升至24.230，下游分类和建筑提取均取得最优值0.781和0.710。

关于GCPA中VFM骨干选择的鲁棒性，研究团队把DINOv3替换为DINOv2、CLIP和MAE分别测试。三种替代VFM均优于不加GCPA的基线，DINOv3效果最好，DINOv2次之，CLIP再次之，MAE最弱但仍有改善。这说明GCPA的增益来自“使用语义先验对齐”这个机制本身，而非只有在特定VFM下才能奏效。

针对OAR-Flow中观测锚定强度ρ的消融已在前面叙述过。针对GCPA权重λ的消融同样值得关注：λ=0.5时整体最优，λ=0.2时PSNR最高（33.073 dB）但下游指标不如λ=0.5，λ=1.0及以上时两项指标均下降。这清楚地表明，适度的语义约束能在不牺牲像素级质量的前提下提升语义保留；过强的语义约束则开始干扰精细的像素级重建。

关于下游评测架构的鲁棒性，研究团队额外使用了ResNet-based的A?-FPN和CNN-Transformer混合的UNetFormer两种异构分割网络进行评测，发现GACR在这些与训练时完全独立的下游架构上同样保持最优或次优，说明GACR带来的语义增益不依赖于特定的下游模型结构。

七、这件事和我们有什么关系

说到底，去云技术听起来像是遥感专家的专属议题，但它的影响实际上渗透进了许多普通人的日常生活。

每次洪灾之后，卫星图像是评估受灾面积、规划救援路线的关键依据；每年的秋粮产量预测，依赖卫星监测农田的生长状态；城市热岛效应的研究、碳汇的测算、非法采矿的监测，背后都是大量卫星图像分析。这些分析的准确性，很大程度上取决于去云处理的质量——而且不仅是“看起来好不好”，更重要的是“机器读起来对不对”。

GACR提出的核心转变，是把去云从一个“视觉修复”问题重新定位为一个“面向理解的修复”问题。这种视角的转变有更广泛的方法论意义：在图像恢复、压缩伪影消除、低光增强等各类图像处理任务中，优化目标与下游使用目标之间的错位是一个普遍存在的问题。GACR的解题路径——用视觉基础模型提供的语义先验来约束生成过程——提供了一种相对通用的解法思路。

另一个值得关注的意义在于速度。5倍的收敛加速不仅是计算效率的提升，更是把这类方法推向实际应用的关键一步。高分辨率遥感图像数据量巨大，训练一个高质量的去云模型往往需要数天乃至数周，5倍加速意味着实验迭代周期大幅缩短，模型更新频率可以更高。

当然，这项研究也有其局限。目前的实验数据集主要集中在城市场景，在复杂地形（如山地、湿地）和多云带（如热带地区常见的近全覆盖云）上的表现还有待更系统的验证。此外，去云本质上是一个病态问题（ill-posed problem）——厚云区域的真实地面永远存在不确定性，GACR能做的是让重建结果在统计意义上更符合地理规律，而非能保证每次都还原出绝对准确的地面状态。

如果你对这些技术细节或后续研究感兴趣，可以通过arXiv:2607.02471查阅完整论文，代码也已在GitHub上以GACR为名公开。

Q&A

Q1：去云（Cloud Removal）技术为什么重要，普通人用不到吗？

A：去云技术主要服务于卫星遥感图像分析，虽然普通人不直接操作，但其应用场景与日常生活密切相关。洪灾评估、粮食产量预测、城市规划监测、非法采矿发现等工作，都依赖从卫星图像中自动识别地物信息，而全球大约60%到70%的地表在任意时刻都有云层遮盖，去云是让这些分析正常运转的前提步骤。

Q2：GACR和普通的去云算法相比，核心区别在哪里？

A：普通去云算法的优化目标是让修复图像在像素层面尽量接近无云参考图，追求PSNR、SSIM等视觉质量指标。GACR的核心区别在于同时引入了语义层面的约束：通过视觉基础模型DINOv3提供的地理情境先验，要求修复图像的深层语义特征也要和真实无云图像对齐，从而让修复结果在支持后续分析任务时表现更好，而不只是“看起来好看”。

Q3：OAR-Flow为什么能加快训练收敛速度？

A：传统扩散模型从纯随机噪声出发反向推理，需要走很长的生成轨迹。OAR-Flow以含云观测图像为锚点出发，缩短了从“起点状态”到“清晰图像”的推理轨迹长度，轨迹更短意味着每次训练更新的方向更确定、收敛更快。实验显示，单独使用OAR-Flow收敛速度是对比方法EMRDM的约3倍，加上GCPA后进一步提升至约5倍。