面包屑图标 当前位置: 首页
AI资讯
热点详情

上交大提出ICRDrag上下文区域拖拽模型实现精准图像编辑

AI热点日报
AI热点日报时间:2026-07-07
热点解读

还在依赖DragGAN、DragDiffusion这类通过点选拖拽进行修图的方式?坦白说,那套方法的实际体验并不理想——稍微拖拽一下,变形、边界割裂、细节丢失的问题就会纷纷暴露出来。如今,这项技术已被全面超越。ECCV 2026上亮相的ICRDrag,核心思路是“上下文区域拖拽”——借助掩码精准锁定

还在依赖DragGAN、DragDiffusion这类通过点选拖拽进行修图的方式?坦白说,那套方法的实际体验并不理想——稍微拖拽一下,变形、边界割裂、细节丢失的问题就会纷纷暴露出来。如今,这项技术已被全面超越。ECCV 2026上亮相的ICRDrag,核心思路是“上下文区域拖拽”——借助掩码精准锁定局部区域,让移动、缩放、形变都变得流畅自然,同时兼顾精准度与画面真实感。



效果展示

来看实际表现。每组图像中,左侧蓝色掩码为源区域,右侧红色掩码为目标区域。拖拽编辑的核心任务,就是将源区域迁移至目标区域,其他区域除必要的跟随性调整(例如嘴巴移动后,下巴自然随之变动)外,细节尽量保持不变。从测试结果看,ICRDrag对各种类型图片的姿态和形状调整,确实能够轻松胜任。



下方的演示视频展示了更灵活的操作:用户可用不同颜色绘制多对源区域和目标区域(目前最多支持5对),一次性将多个源区域拖拽至对应位置。若其他区域出现不期望的改动,只需在其他区域增加类似锚点的源区域和目标区域,即可锁定其他区域保持不变。整个操作逻辑非常直观易懂。

直击痛点

传统拖拽修图究竟存在哪些痛点?几乎每一位尝试过AI拖拽编辑的用户都曾遭遇以下困扰:

基于单点拖拽: 主流点拖拽模型(如DragGAN、DragDiffusion)仅依赖少量点对控制画面。点对信息过于模糊,AI经常难以准确理解用户意图。点越少,歧义越大。想要精准调整物体形态基本靠运气,很难严格对齐目标位置。
现有区域拖拽: 随后出现的RegionDrag、DragFlow等模型改用掩码控制区域,但缺陷仍然明显——物体拖拽后边缘容易断层,与背景融合生硬;面对复杂的形状姿态调整,效果完全无法令人满意。



上下文区域拖拽

本次ECCV 2026提出的ICRDrag(In-Context Region-based Drag)给出了全新解决方案:上下文区域拖拽,真正做到了“指定何处,修改何处”。

上下文学习框架: 基于DiT上下文学习框架,一次性输入原图、源区域掩码、目标区域掩码,直接输出编辑完成的图片。从根本上解决了拖拽编辑中的控制难题。
图像-掩码注意力一致性约束: 目标图像在借鉴原图信息时,注意力分布必须与目标掩码匹配源掩码的分布保持一致。AI不再孤立地看待图像与掩码,生成画面严格贴合掩码划定的空间轮廓。
源-目标双向注意力对应约束: 目标物体看向原图对应区域,原图区域也反向关注目标物体,建立了编辑前后物体的对应关系。
图片/掩码专属模态LoRA: 图像富含纹理细节,掩码仅存储空间轮廓,二者性质差异显著。ICRDrag为图像、掩码分支使用独立LoRA,各自专注于擅长的信息处理。
分阶段课程式训练: 实际使用中,用户勾勒的掩码往往比较粗糙。模型采用两阶段渐进式训练:第一阶段用完整语义掩码训练,让模型学会区域变换逻辑;第二阶段用稀疏不完整掩码训练,随机膨胀模拟手绘粗糙选区,显著提升了模型的容错能力。即便用户绘制的掩码比较粗略,AI依旧能精准理解编辑意图。



区域拖拽大规模数据集

为了训练ICRDrag模型,该工作基于百万级视频数据集OpenVid,打造了首个大规模区域拖拽数据集PRD (Paired Region Dataset),填补了该领域的数据空白:

训练集

28.7万组“原图+源掩码+目标图+目标掩码”配对训练样本。左栏是原图、源掩码、从源掩码采样的部分区域,右栏是目标图、目标掩码、从目标掩码采样的部分区域。

评测基准PRDBench

1000组人工校验的高质量样本,同时标注掩码和关键点,能够公平比较点拖拽、区域拖拽两类模型。



应用场景

图像拖拽编辑覆盖多个落地场景,为设计师和摄影爱好者提供了极大便利。

人像修图: 框选人脸或四肢,随意调整身材比例、姿态、五官位置,无变形、无失真。
静物/产品设计: 拖拽商品调整摆放位置、缩放大小,无需重新绘制光影效果。
场景构图优化: 移动画面中的人物、花草、建筑,自动填充背景,实现画面无缝融合。
创意设计: 自由扭曲物体外形,实现复杂创意形变,摆脱生硬的拼接痕迹。


热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:上交大提出ICRDrag上下文区域拖拽模型实现精准图像编辑要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://www.163.com/dy/article/L13CDK1N0511AQHO.html
掩码

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-07 20:10
Dzine AI图像设计工具 卓越构图与风格控制

Dzine是一款强调构图控制与风格管理的AI图像设计工具,提供样式库、图层操作、定位和素描工具,支持文生图与图生图,具备生成填充编辑、一键修复增强及最高6144像素超高清导出功能,降低设计门槛,兼顾新手与专业用户。

AI热点2026-07-07 20:09
Arrival基于云的SaaS解决方案

3D虚拟空间的搭建,过去往往依赖专业建模软件和大量手动操作,技术门槛相当高。但现在,一款名为Arrival的云端SaaS解决方案正凭借AI与拖放功能,将这件事变得像搭积木一样轻松便捷。 什么是Arrival? Arrival本质上是一套专业的软件工具,核心目标就是帮助用户快速构建一个3D虚拟空间。它

AI热点2026-07-07 20:09
AI用户访谈:洞察需求加速产品市场匹配

ZENAI通过AI自动完成用户访谈,省去人工招募与主持流程,并自动总结用户场景、痛点及人物画像。产品经理、设计师、研究员可借此快速验证假设、提炼场景、获取市场洞察,加速产品市场契合度(PMF)达成,提供基础与专业两种套餐。

AI热点2026-07-07 20:09
Meshcapade ME AI生成逼真数字人头像平台

MeshcapadeMe基于SMPL人体模型技术,提供API接口支持图像、视频、测量及3D扫描输入,自动生成统一格式的逼真数字分身,无需专业建模技能即可将各类素材转化为可动画、跨平台使用的数字人类,适用于虚拟现实、游戏与影视等领域。

延伸阅读