扩散模型噪声新作用：DRDD统一图像翻译

先分享一个关键结论：在图像到图像翻译（I2I）领域，扩散模型近年来几乎形成了一套默认策略——将输入图像与噪声混合，再逐步去噪，最终“还原”出目标图像。这条技术路径非常合理，也确实取得了显著成果。无论是超分辨率、去雨、去雾、低光增强，还是风格迁移，扩散模型凭借卓越的生成质量与多样性，始终稳居I2I任务的领先地位。

然而近期，来自香港大学、中国科学院沈阳自动化研究所、加州大学圣克鲁兹分校等机构的研究团队提出了一个尖锐问题：我们是否一直在“噪声”问题上过于想当然？

更直接地说，扩散模型中的高斯噪声，可能并非只是单纯的、等待被去除的干扰项，也不仅仅是用于将数据从低维流形中“吹散”的工具。它或许还扮演着一个此前被严重低估的角色：域协调器。论文提出的DRDD框架，正是基于这一发现，重新设计了一套统一且数据高效的I2I翻译方案。

从“移除噪声”到“利用噪声”：I2I扩散模型的机制被重新审视

以往的I2I扩散方法，思路相对简单，大致可分为两类。

早期方法如SR3、WeatherDiff，从纯高斯噪声开始反向生成，将输入图像作为条件信号。后来的方法如RDDM、IR-SDE发现直接从纯噪声出发不够稳健，于是改为从“带噪输入图像”开始反向采样，从而更好地保留输入结构，减少推理过程中的不确定性。

然而，这些方法有一个共同特点——也是它们的“软肋”：都倾向于将整个图像翻译过程压缩成一个单一、耦合的反向扩散过程。换句话说，在每一步采样中，模型既要完成去噪，又要处理残差，还要同时实现从源域到目标域的转换。这听起来很自然，但问题也随之显现。

如果只处理单一任务，这种耦合或许可行；但一旦进入统一I2I场景——即一个模型要同时应对低光增强、去雨、去雾、去模糊、去噪等多个任务——麻烦就大了：不同任务的退化类型与图像域差异会形成巨大的domain gap。模型需要在分布差异极大的空间里找到一条统一的映射路径。

这正是DRDD的切入点。它提出了一个非常巧妙的逆向思考：既然加噪能使不同域的特征分布彼此靠近，那为什么非要急着在核心翻译尚未完成时就把噪声去掉呢？

别急着去噪：高斯噪声其实正在帮你“对齐”不同域

在DRDD的视角下，高斯噪声在I2I翻译中的角色被重新定义。

传统观点中，噪声主要有两大功能：一是将数据从低维流形中“驱赶”出来，二是为score estimation提供更丰富的训练信号。但这项工作的创新之处在于，它从理论和实验上证明，注入一定水平的高斯噪声，能显著降低不同域特征分布之间的差异。

举例来说，原本低光、去雨、去雾等任务在特征空间里可能“各自为政”，互不干扰；但注入适当噪声后，它们的分布神奇地被拉近了。论文的Figure 1通过t-SNE可视化清晰展示了这一点：源域之间的gap非常明显，而加入噪声后的Source+Noise domain中，不同任务的特征点明显靠拢。

这对统一I2I模型来说至关重要。因为统一模型最怕的不是某个任务特别难，而是不同任务之间互相“打架”。如果噪声能先把这些不同域拉进一个更协调的空间，那么模型学习统一映射的难度自然会下降不少。

问题恰恰在于，现有的耦合扩散模型虽然也加噪，但它们在反向过程中是一边进行源到目标的转换，一边顺手把噪声去掉了。这导致了一个尴尬局面：噪声刚刚建立起来的域协调效果，还没来得及服务于核心的图像翻译，就被模型提前“擦”掉了。就像你刚为来自不同领域的图像搭建了一座中间桥梁，结果翻译过程还没来得及通过这座桥完成迁移，桥就先被拆了。

DRDD的核心：把“去残差”和“去噪”拆开，分步走

那么，DRDD的具体做法是什么？很简单，它不再把残差去除和噪声去除塞进同一个过程，而是将它们拆成两个截然不同的阶段。

具体而言，DRDD将传统的单一扩散过程解耦为两个顺序执行、彼此独立的阶段：

第一阶段是随机噪声扩散。这个阶段的任务是向目标图像中注入高斯噪声，使目标域进入一个“带噪但更协调”的空间。其核心使命就是实现域协调。

第二阶段是确定性残差扩散。在固定好噪声水平后，模型开始学习目标到源的残差变化。简单说，就是把图像翻译所需的语义映射，放到这个噪声充当“中间人”的域里去完成。

反向过程也对应拆成两步：先在带噪域里完成残差去除（完成源域到目标域的转换），然后再做去噪（把已转换完成的带噪目标图像变成干净的最终结果）。

这和传统耦合扩散最大的区别在于：传统方法是一边换域，一边去噪；而DRDD是先让噪声“值班”，在噪声还没被清理时完成换域，最后才去噪。看似只是顺序变了，实际上它本质性地改变了扩散模型做I2I翻译的几何路径，让噪声的域协调效果完整保留到核心映射阶段，而不是在中途被提前消耗掉。

DRDD的两个核心优势：域协调 + 数据效率

这项工作的优势可总结为两点。

第一，它让统一映射变得更容易学。在统一I2I任务中，不同退化类型和图像域之间的gap，会严重限制模型用一个共享参数空间覆盖所有任务。DRDD通过固定在噪声域里完成残差去除，相当于先把这些各不相同的任务拉到同一个协调的中间空间，再学习源到目标的核心变换。这不是随便“多加点噪声”那么简单，而是真正把噪声变成了一个有辅助作用的中间域。

第二，它显著提高了数据效率。DRDD的去噪阶段，只需要干净的目标域图像进行训练，完全不需要成对的源域-目标域样本。这意味着，只要你有大量unpaired的target-domain images，就可以训练或增强去噪模块，从而大幅提升最终图像的保真度。论文也专门指出，DRDD的denoising network可以仅仅在干净图像上训练，甚至可加载大规模自然图像上的预训练权重来初始化。

I2I任务中，最贵的往往不是图像本身，而是成对的训练数据。比如真实的低光图和对应的正常曝光图、真实的模糊图和清晰图，这类成对数据在大规模上收集起来非常困难。DRDD把必须依赖配对数据的部分精准缩小到残差映射阶段，而把提升去噪质量这个环节交给了更容易获得的非配对目标域图像。这种“各司其职”的设计非常巧妙。

实验结果：统一修复、多域任务、少数据，都能打

DRDD的实验设计覆盖了多个维度的验证：多任务统一图像修复、多域单任务I2I、单域单任务I2I、少量配对数据场景、跨扩散范式兼容性，以及对噪声强度的深入分析。整体来看，它的目标不是在单个benchmark上刷高分，而是多角度验证“解耦”这件事确实有效。

1. All-in-One-5：统一图像修复，平均表现领先

在All-in-One-5统一图像修复benchmark上，DRDD同时要处理低光增强、去雨、去噪、去模糊、去雾五类任务。结果显示，DRDD在平均指标上取得了SSIM 0.916 / LPIPS 0.073 / FID 18.3的成绩，整体上优于DA-CLIP、DiffuIR、AdAIR、VLUNet、DFPIR等方法。尤其在感知质量指标上优势更为明显。这说明DRDD并非为某一特定任务量身定制，而是真正具备了all-in-one restoration的统一建模能力。

2. 少量配对数据：数据越少，优势越明显

DRDD另一个重要亮点是数据效率。论文在Low-Light和All-in-One-3任务上做了数据裁剪实验，将训练集随机下采样到75%、50%、25%，以验证在少量配对数据下的表现。结果非常明显：随着训练数据减少，DRDD的性能下降幅度远小于DiffUIR、VLUNet等基线方法。从Figure 5的曲线中也可以看到，无论是低光增强还是All-in-One-3任务，DRDD在SSIM和LPIPS指标上都保持了更稳定的表现。这传递了一个清晰信号：DRDD的提升不是靠吃更多配对数据堆砌出来的，而是靠把配对映射与目标域去噪拆开，从而让每类数据都承担了更合适的角色。

3. 噪声不是越大越好：DRDD也给出了“加多少”的答案

既然噪声能协调域分布，一个很自然的问题就是：是不是噪声越大越好？答案是否定的。噪声太小，域协调效果不够；噪声太大，又过度破坏输入结构，反而让翻译任务变得更难。因此，DRDD从理论和实验两侧都对噪声强度进行了分析。

论文定义了两个距离：一个衡量带噪源域和带噪目标域之间的距离，另一个衡量带噪源域和原始源域之间的距离。前者希望越小越好，因为域gap小更好翻译；后者不能太大，否则会破坏输入。最终，通过一个trade-off目标找到了合适的噪声水平。在All-in-One-5任务上，理论分析得到的最优噪声强度大约在1.1到1.2之间；实际实验中，模型在噪声强度为1.0时达到最优，且在0.8到1.3的范围内表现稳定。这等于说，DRDD使用噪声不是无凭无据的玄学，而是有理论约束、有实验验证的可控设计。

从“噪声是负担”到“噪声是中间域”，DRDD改变了I2I扩散的视角

许多扩散模型的工作都在追求更好的网络架构、更快的采样效率、更强的条件控制。但DRDD的有趣之处在于，它没有把重点放在“怎么更快地去噪”上，而是反过来问：为什么一定要这么早就去噪？

在传统的耦合扩散框架里，噪声和残差是绑定在一起被一步步移除的。而DRDD的理念是分开它们：让噪声先完成域协调，让残差去除在这个被噪声重新“拉拢”的空间里发生，最后再去做保真度的恢复。这实际上把I2I扩散模型里的噪声，从一个“必须尽快清理掉的扰动”，转变成了一个“帮助不同域对齐的工作空间”。

DRDD的路线非常清晰：先利用噪声缩小域间差异，再在带噪域里完成核心的语义映射，最后去噪来提升图像保真度。这套顺序，让扩散模型不再是简单的“加噪—去噪”的生成机器，而更像是一个分段式的视觉翻译系统：噪声负责协调，残差负责转换，去噪负责精修。

当统一I2I任务逐渐从单任务的benchmark走向真实的复杂场景时，模型面对的不再是单一的、干净的、边界明确的退化类型，而是一个多任务、多域、多退化、多数据约束同时存在的世界。DRDD的意义就在于，它为这样的现实世界提供了一个更自然、更优雅的框架：不要把所有困难都塞进一个耦合的反向过程里，而是让每一个阶段分别做自己最擅长的事。

从这个角度看，DRDD不仅是一个新的I2I方法，更像是一次对扩散模型内部机制的重新拆解。噪声从来就不是敌人。用对了地方，它可能正是我们一直在寻找的、连接统一图像翻译的那座桥。

作者介绍

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：扩散模型噪声新作用：DRDD统一图像翻译要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题