面包屑图标 当前位置: 首页
AI资讯
热点详情

VeraRetouch多任务推理照片修图框架SIGGRAPH2026

AI热点日报
AI热点日报时间:2026-07-10
热点解读

手机摄影已经是日常标配了,不过,拍完的照片真的就“成片”了吗?大多数时候,修图才是真正让一张照片“出彩”的关键。很多人应该都有这种体验:一张照片光线不透、肤色不够正,总想顺手调一下。但专业修图软件,光一个曝光、对比度、色温的组合就足够让人头疼了;而一键滤镜又往往过犹不及,要么“味儿太冲”破坏细节,要

手机摄影已经是日常标配了,不过,拍完的照片真的就“成片”了吗?大多数时候,修图才是真正让一张照片“出彩”的关键。很多人应该都有这种体验:一张照片光线不透、肤色不够正,总想顺手调一下。但专业修图软件,光一个曝光、对比度、色温的组合就足够让人头疼了;而一键滤镜又往往过犹不及,要么“味儿太冲”破坏细节,要么千篇一律地修成同一种风格。

为了解决这个问题,来自 vivo BlueImage Lab、浙江大学 CAD&CG 全国重点实验室、之江实验室以及中国科学院大学联合团队,提出了一项名为 VeraRetouch 的新研究工作。这项工作入选了 SIGGRAPH 2026(第53届国际计算机图形学与交互技术顶会),核心是构建了一个轻量、全可微分、并且能在移动端部署的多任务推理式照片修图框架。

核心思路,其实挺有意思的: 让大模型不再只是“说怎么修”,而是真正“会修”。研究团队把 0.6B 参数量级的视觉语言模型(VLM)当作“修图大脑”,配合一个全可微分的 Retouch Renderer 作为“修图执行器”。这样一来,高层语言意图——比如“想要一张温暖秋日感的照片”——就能被直接转化为低层像素级的调整,整个过程完全在可微分的框架内闭合,确保最终结果在保持图像结构与细节的同时,实现专业化的色调与色彩优化。


01 全新框架:让大模型真正“会修”像素

传统的自动修图方法,大多像一个黑盒:输入照片,输出结果,中间缺少明确的审美分析与调整逻辑。后来出现的推理式修图方法,引入了多模态大模型,让模型能分析照片问题、给出修图步骤,然后再调用外部工具(比如 Lightroom、Photoshop)来执行。

这条路线更接近人类修图师的工作方式,但有个核心瓶颈:外部修图软件通常是不可微分的。 模型生成的参数到底能不能带来更好的像素结果,很难通过端到端训练直接优化。

VeraRetouch 的关键创新就在于,它不再把专业修图工具当外部黑盒,而是用全可微分的 Retouch Renderer 替代传统的调色与调光操作。这样,模型不仅能“推理出该怎么修”,还能通过直接的图像监督去学习“怎样修才真的好看”。

具体怎么做?团队把修图空间拆解成了三个相对独立的控制维度:

  • Lighting: 曝光、阴影、高光等光照相关的调整。
  • Global Color: 色温、色调、整体颜色倾向等全局色彩调整。
  • Specific Color: 针对红色、橙色、蓝色等特定颜色通道的精细调整。

这种拆解与专业修图流程高度一致,也让模型的输出更可解释、更稳定。

图1:Retouch Encoder 从参考图像对中提取光照、全局色彩和特定色彩控制 latent,Retouch Renderer 再将这些控制信号映射到像素级修图结果。


02 三种任务:从“一键变好看”到“按你说的修”

VeraRetouch 面向真实用户需求定义了三种典型的修图任务:

Auto-Retouch

Style-Retouch

Param-Retouch

图2:VeraRetouch 支持自动修图、风格修图与参数修图三类典型工作流。

  • Auto-Retouch: 用户只需要输入一张照片,模型自动分析画面中的光影和色彩问题,并生成修图方案。这是最常见的“一键优化”场景,目标是提升整体观感,而不是套滤镜。
  • Style-Retouch: 用户可以用自然语言描述想要的风格,比如“温暖秋日感”、“冷调日系透明感”、“暗调情绪胶片风”。模型会结合图像内容和文本意图,推理出具体的调色方向。
  • Param-Retouch: 模型可以根据明确的参数指令进行修图,例如对比度、曝光、色温、饱和度等。这更接近专业场景下的精确控制。

简单说:它能“自己看图修”,也能“听懂你想要的风格”,还能“按参数执行”。


03 数据问题:百万级专业修图数据集是如何炼成的?

高质量修图模型离不开高质量数据,而专业修图数据向来稀缺。已有的数据集规模有限,且很难覆盖真实用户复杂多样的风格需求。

为此,研究团队构建了 AetherRetouch-1M+,一个百万级多任务专业修图数据集,覆盖前面提到的三类场景。这个数据集的构建思路很有意思:

  • 自动修图: 团队采用了一个“反向退化”思路。先从高质量照片出发,把它们视作“已修好”的结果,再基于专家修图对中色彩与光照的变化,反向生成更像原始照片的“未修图”版本。这样可以在保留真实内容结构的同时,构造大量具有真实缺陷的训练样本。
  • 风格修图: 团队整理了 5,030 个在线风格预设,覆盖 11 个大类和 193 个细分子类,并借助视觉语言模型为图像匹配合适风格,再生成多样化的用户指令。
  • 参数修图: 围绕光照、全局色彩和特定色彩三类操作随机采样参数组合,生成可用于精确控制训练的数据。

更进一步,数据集中还加入了结构化推理过程:模型不仅学习“输入到输出”,还要学习“为什么要这样调整”,包括画面内容分析、原图问题诊断以及对应的修图计划。

图3:AetherRetouch-1M+ 覆盖自动修图、风格修图与参数修图三类任务。


04 技术核心:小模型也能做专业推理修图

VeraRetouch 基于 FastVLM-0.5B 构建。输入图像经过视觉编码器转成视觉 token,用户指令经过文本编码器转成 prompt token,随后多模态语言模型生成结构化推理内容。为了让推理结果真正驱动像素调整,团队设计了专门的 retouch tokens,分别对应光照、全局色彩和特定色彩三个控制维度。模型最后一层的 hidden state 会被送入 MLP Retouch Adaptor,对齐到 Retouch Renderer 可理解的连续控制 latent,再由 Retouch Renderer 输出最终修图结果。

图5:VeraRetouch 整体框架。输入图像与用户指令经过轻量 VLM 生成结构化推理与控制 latent,再由 Retouch Renderer 输出最终修图结果。

这套设计带来两个重要优势:

  1. 它避免了模型推理时对外部修图软件的依赖。整个修图过程在模型内部完成,并支持端到端像素级训练。
  2. 它比大型生成式图像编辑模型更轻量。VeraRetouch 的总参数量约为 0.63B,远小于 Flux.1 Kontext、Qwen-Image-2509、MonetGPT、JarvisArt 等基线方法,这也让它更接近移动端实际部署的需求。

为了进一步提升审美表现,团队还提出了 DAPO-AE 后训练策略,通过格式奖励、图像相似性奖励和审美奖励,引导模型在保持指令一致性的同时,生成更自然、更符合人类美学偏好的修图结果。


05 实验结果:质量、速度与可部署性同步提升

实验结果显示,VeraRetouch 在多个基准上取得了领先表现:

  • 自动修图: 在 FiveK-Bench 上,VeraRetouch-DAPO-AE 达到 26.85 dB PSNR,相比 Flux.1 Kontext 提升 1.08 dB,同时在 SSIM、LPIPS 和多项直方图一致性指标上表现突出。
  • 风格修图: 在 Aether-Bench 上,VeraRetouch 在 PSNR、SSIM、LPIPS、DISTS、GMSD 和 Texture Distortion 等指标上均取得最优或领先表现,说明它不仅能跟随风格指令,也能更好地保留原图结构与纹理细节。
  • 参数修图: VeraRetouch 的 PSNR 达到 30.18 dB,明显超过微调后的扩散模型基线,展现出对精确修图参数的强执行能力。不过论文也提到,由于数据构造时采用了联合高斯分布进行参数采样,模型在执行分布外参数时可能会出现一些不一致的情况。

在速度方面,VeraRetouch 在 H20 GPU 上处理一张 512p 图像仅需6.90秒,快于 Flux.1 Kontext 的 16.78 秒和 JarvisArt 的 14.31 秒。更重要的是,它在消费级设备上也具备部署潜力:未经量化的版本在 MacBook Air M4 上约7.46秒,在 iPhone 16 Pro 上约13.56 秒即可完成自动修图。

38 名参与者的用户研究也验证了这一点:在视觉美感、指令一致性和纹理保持方面,VeraRetouch 都获得了最高评分。DAPO-AE 后训练带来了明显的人类偏好提升,在对比实验中获得61.62%的偏好率。


06 技术核心:小模型,也能做专业推理修图

(注:原标题为“技术核心:小模型,也能做专业推理修图”,为保留原文结构,此处保留原章节标题。)

VeraRetouch 的意义不只是提出了一个全新的修图模型,而是把推理式修图从“模型生成参数、外部工具执行”的松散流程,推进到了一个轻量、可微分、可端到端优化的统一框架中。

它让模型能够同时理解图像内容、用户意图和专业修图逻辑,并通过可解释的光照、全局色彩、特定色彩控制 latent 完成像素级调整。配合百万级的 AetherRetouch-1M+ 数据集,VeraRetouch 展示了小模型在专业影像任务中的巨大潜力。

这项工作有望服务于多种真实影像场景:

  • 日常拍摄: 一键获得更自然、更耐看的照片效果。
  • 社交分享: 根据语言描述快速生成符合内容氛围的风格图。
  • 移动影像: 为端侧智能修图和手机影像后处理提供新的技术路径。

当然,论文也指出,当前模型在局部修图能力上仍有提升空间。未来若进一步引入像素级 mask 机制,VeraRetouch 有望支持更灵活的区域化编辑——例如只提亮人物面部、只调整天空色彩,或只优化背景氛围。

从“一键滤镜”到“推理式专业修图”,照片后期正在从工具门槛走向更自然的交互。VeraRetouch 正是在这个方向上,提供了一个值得关注的新解法:让手机真正理解一张照片到底该怎么变好看。


原文来自 vivo BlueImage Lab,本文已清除原文章中的推广及外部链接信息。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:VeraRetouch多任务推理照片修图框架SIGGRAPH2026要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://www.bestblogs.dev/article/1ec54639?utm_source=rss&utm_medium=feed&utm_campaign=resources&entry=rss_article_item
Graph

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-10 12:14
Peache.ai AI角色聊天虚拟游乐场沉浸式在线互动体验平台

Peache ai是一个专注于调情、幽默和大胆对话的AI角色聊天游乐场。平台提供多样化的AI角色,拥有独特背景和性格,用户可在无社交压力的安全环境中实时互动,练习沟通技巧、探索多元话题,并获取即时反馈。

AI热点2026-07-10 12:14
基于ChatGPT的人工智能思维导图快速在线制作工具

一款基于ChatGPT的AI思维导图工具,通过描述需求即可快速生成导图,并支持所见即所得的编辑修改,适用于头脑风暴、笔记总结、逻辑梳理等场景,帮助将零散信息转化为清晰图示。

AI热点2026-07-10 12:13
AI驱动的Anki卡片生成器

AI驱动的Anki卡片生成器通过自动生成间隔重复记忆卡片,将用户选中的文本转化为互动学习素材,支持高亮创建、图片拖拽、编辑深度定制及图片搜索,以浏览器扩展形式提升学习效率。

AI热点2026-07-10 12:13
昂卡农个性化人工智能伴侣聊天机器人平台

Ongkanon是一个主打个性化AI伴侣的聊天平台,具备记忆和学习能力,能根据对话不断适应和了解用户。用户可创建或克隆角色,并通过反馈参与产品塑造。该平台探索将AI从工具转变为有个性的对话伙伴。

延伸阅读