Qwen-Image图像编辑版本正式开源
Qwen-Image-Edit开源,基于Qwen-Image模型,支持局部增删改元素和风格迁移等视觉语义编辑,具备中英文文字编辑,采用语义与外观双编码架构,性能超越多数现有模型,与OpenAIGPT-Image相当。
Qwen-Image-Edit 现已正式开源。这款图像编辑模型功能十分强大——不仅可以精准调整局部元素,还能够保持整体语义的一致性,并支持中英文双语文字编辑。下面为您深入解读它的核心技术亮点。
Qwen-Image-Edit 并非从零开始研发,而是在已经开源的 20B 参数模型 Qwen-Image 基础上,进一步训练而成的单图编辑模型。它主要支持两种编辑任务:一种是局部编辑,例如添加、删除或修改某个特定元素,同时要求图片其他区域保持完全不变化;另一种是视觉语义编辑,比如 IP 创意设计、物体旋转、风格迁移等,这类编辑允许整体像素发生改变,但必须保持语义的一致性。更值得关注的是,Qwen-Image 原有的优秀文本渲染能力被成功延续到了图像编辑领域,模型能够同时处理中英文双语的文字编辑——在保留原有字体、字号和风格的前提下,对图片中的文字进行增加、删除或修改操作。
从架构设计来看,Qwen-Image-Edit 的输入图像会同时被送入 Qwen2.5-VL 和 VAE Encoder 进行编码。Qwen2.5-VL 提取的视觉特征与文本特征拼接在一起,负责实现视觉语义控制;而 VAE Encoder 提取的图像 tokens 则与 noisy tokens 拼接,负责实现视觉外观控制。这种语义与外观双重建模的方式,使得模型在编辑过程中能够兼顾整体语义的一致性与局部外观的真实度,从而获得更强的图像编辑能力。
为了应对不同任务中输入模态的差异,Qwen-Image-Edit 和 Qwen-Image 采用了不同的系统提示词设计。其中 <|user_image|> 填入输入图像,<|user_text|> 填入用户文本。此外,为了让模型能够区分输入图像和生成图像,位置编码 MSRoPE 除了用于定位单张图像中图像块的高度和宽度维度之外,还引入了一个额外的帧维度——输入图片的编码为 1,而生成图片的编码为 0。
在基准测试方面,Qwen-Image-Edit 在图像编辑评测集 GEdit-Bench 和 ImgEdit 上超越了大部分图像编辑模型,例如 FLUX.1 Kontext [Pro] 和 BAGEL 等,其性能与 OpenAI 的 GPT Image 1 [High] 相当。
具体应用场景
先来看局部外观编辑。这是最常使用的图像编辑需求——编辑过程中必须保持图像的某些区域完全不变,实现元素的增加、删除或修改。Qwen-Image-Edit 能够在保留原图的基础上,完成非常精细的增删改操作。
(此处为局部编辑示例图片)
应用场景还可以扩展到人物背景调整、服装更换等方面:
(此处为背景及服装编辑示例图片)
文字编辑能力是 Qwen-Image-Edit 的一大突出亮点。它不仅同时支持中英文编辑,还可以直接对中文海报中的细小文字进行精准调整:
(此处为文字编辑示例图片)
多轮编辑能力同样值得关注。下面展示的是模型逐步修正 Qwen-Image 生成的书法作品中的错误:
(此处为书法作品修正示例图片)
在这幅作品中,不少汉字存在生成错误。我们可以借助 Qwen-Image-Edit 逐步修复它们——在原图中用方框标注出需要修改的区域,指示模型针对这些部分进行修正。例如,希望红框内正确写出“稽”字,蓝色区域写出“亭”字:
(此处为标注修正区域示例图片)
实际操作中,“稽”字较为生僻,模型未能一次性完成修改——“稽”的右下角应为“旨”而非“日”。此时进一步用红框圈出“日”的部分,让模型对该细节进行微调,将其改为“旨”:
(此处为微调示例图片)
通过这种链式、逐步的编辑方式,可以持续修正错字,直至获得理想效果:
(此处为最终修正效果示例图片)
甚至还可以将修正好的书法作品装裱到客厅的白墙上:
(此处为装裱效果示例图片)
语义编辑能力是 Qwen-Image-Edit 的另一大亮点。所谓语义编辑,是指在保持原始图像视觉语义不变的前提下,对图像内容进行修改。下面以 Qwen 的吉祥物卡皮巴拉为例,展示原创 IP 编辑:
(此处为卡皮巴拉编辑示例图片)
模型还能实现出色的视角转换——不仅支持物体的 90 度旋转,还可以完成 180 度旋转,让我们直接看到物体的背面:
(此处为视角转换示例图片)
风格迁移是语义编辑的典型应用场景。Qwen-Image-Edit 可以轻松将输入图像转换为吉卜力等多种风格:
(此处为风格迁移示例图片)
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:Qwen-Image图像编辑版本正式开源要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点蚂蚁灵波发布业界首个具身原生世界动作模型LingBot-VA2 0,采用从零开始预训练的具身原生架构,通过语义视觉-动作分词器、因果预训练、MoE架构及异步推理机制,实现单卡150Hz实时推理,在真机测试中展现高效执行与泛化能力,标志着机器人基础模型从数字世界模型转向物理世界原生设计。
中力在安吉629大会上展示了装卸、转运、仓储、拣选全链路无人化闭环,标志着工业无人物流从单点智能化迈入全场景数智化新阶段。凭借工程化能力与全品类硬件底座,中力率先破解行业长期卡在单点自动化的僵局。
大模型独角兽MiniMax完成160亿港元(超20亿美元)新一轮融资,获超7倍超额认购,百余家国际机构参与。资金将用于AI基础设施搭建、前沿模型研发及全球商业化扩张,多家Pre-IPO及基石投资人追加投资。
自张钹1978年开启人工智能研究,清华AI历经四代人薪火相传。孙茂松、唐杰、刘知远、杨植麟等学者相继引领前沿,通过教授创业、顶尖人才培养及紧密的产学研转化机制,使中国AI始终在场,与全球同台竞技。
- 日榜
- 周榜
- 月榜
热点快看
