复旦大学SAM2Matting ECCV 2026通用图像视频抠图

先说几个关键判断：SAM2、SAM3这类视频目标分割模型，已经让“万物追踪”成为触手可及的现实。但话说回来，对于需要精细处理的视觉编辑和抠图——比如发丝、透明物体、细小边缘——光靠掩码级的细粒度还远远不够。那么，一个自然的问题就来了：能不能把强大的视频目标分割模型再往前推一步，从mask级的万物追踪，走向matte级的万物视频抠图？

SAM2Matting: Generalized Image and Video Matting

背景与动机

真实场景里，光把前景和背景分开，还远远不够。很多目标压根就没有清晰的二值边界：发丝、羽毛、玻璃、水滴、透明翅膀——它们要么细碎，要么半透明。想要做高精度的视频编辑和视觉合成，模型就必须学会恢复连续的透明度，让目标从粗略的mask真正变成精细的matte。

当高精度抠图从单张图像扩展到连续视频，问题瞬间就上了一个台阶。模型不仅要“抠得细”，还得“跟得准”：目标可能快速运动、被遮挡、短暂消失后又出现，也可能跟自行车、滑雪杆这些附属物紧紧贴在一起。模型必须同时应对复杂追踪和精细抠图的双重挑战，少一个都不行。

范式思考

视频抠图本质上包含两类能力：一类是高层语义追踪，决定模型能不能在连续帧里始终锁定同一个目标；另一类是底层细节估计，决定抠图结果能不能保住半透明区域和极细边界。传统方法往往依赖昂贵的视频抠图数据标注，要求模型同时接住这两项挑战。

但视频抠图数据标注成本极高、规模有限，场景也主要集中在人像等狭窄领域。光靠这类数据从头训练模型，根本拿不到开放场景的追踪能力；而拿这批数据去微调现成的VOS tracker，又容易破坏它原本稳健的跟踪表现。下面这张图就很说明问题：在公开的视频抠图数据集V-HIM2K5上微调SAM2后，模型的追踪鲁棒性明显下降（图中Video-FT就是微调后的结果）。

视频追踪模型在领域受限的视频抠图数据集上微调后，原有的开放场景追踪能力明显下降

所以SAM2Matting的出发点很直接：既然tracking更擅长保持时序一致性，matting更擅长恢复精细细节，为什么不让他们各展所长、协同完成视频抠图？

核心思路：Tracker-to-Matting 设计

SAM2Matting把视频抠图拆成了“稳定追踪”和“精细恢复”两个阶段。冻结的视频目标追踪模型（VOS tracker）先提供稳定的目标掩码与多尺度图像特征；轻量级抠图组件再基于这些先验，定位出需要精修的关键区域，随后逐级产生高质量抠图结果。具体设计步骤如下图所示：

SAM2Matting框架: VOS tracker负责高层追踪，ROI Detector与Progressive Alpha Predictor分别定位抠图区域和实现逐级alpha精修

效果亮点：针对现实场景的超高泛化性

实验数据显示，SAM2Matting在图像与视频抠图上都表现突出，尤其是视频抠图部分完全是zero-shot形式——哪怕只用了图像抠图数据训练，在视频抠图benchmarks和in-the-wild视频上依然能取得惊艳效果。

总体结果

SAM2Matting提供了3种模型版本，在通用视频抠图benchmarks上都拿下了接近或刷新SOTA的性能表现。

可视化结果很能说明问题。SAM2Matting在人像发丝级细粒度抠图中展现出惊艳效果。面对快速运动、透明结构这些复杂的in-the-wild场景，它也能更稳定地追踪目标并恢复精细细节。

现实高难场景

附属物抠图

真实视频里，目标往往不是一个干净、孤立的人或物。人可能骑着自行车、拿着滑雪杆，前景旁边紧贴着桌子、栏杆这些干扰物；tracker的mask也可能漏掉细小结构，或者错误包含背景区域。SAM2Matting在这些情况下依然能更可靠地恢复目标matte。

SAM2Matting能保留并对目标附属物抠图（左、中：自行车、滑雪杆），并有效抑制背景干扰（右：书桌）

不规则区域抠图

真实场景中的精细抠图区域往往形态不规则——发丝、叶片、透明边缘、肢体间隙，到处都是。SAM2Matting通过ROI Detector自适应定位这些关键区域，把精修集中在真正需要处理的细节上。

ROI Detector能捕捉飞扬散发、叶片、肢体间隙等传统规则方法极易忽略的抠图细节区域

交互式抠图

SAM2Matting继承了视频目标分割模型的灵活提示能力，支持点、框、掩码、文本等多种交互方式。用户只需给出简单提示，模型就能在视频里持续追踪和抠图目标，让开放场景下的视频抠图变得非常便捷。

SAM2Matting支持包括掩码、点选、框选、涂鸦、文本指代在内的多种不同交互式抠图方案

长视频抠图

电商直播、影视后处理这些实际应用里，视频抠图常常要处理很长的视频序列。得益于稳定的目标追踪能力，SAM2Matting能在长视频中持续保持目标一致性——即便目标短暂消失或发生明显运动，依然能稳定实现逐帧的精细抠图。

SAM2Matting在500帧长视频上保持稳定追踪与精细抠图效果

实时级超高效率

SAM2Matting的抠图组件非常轻量。在单张NVIDIA A6000 GPU上，SAM2.1-Tiny版本在1080p视频上能达到约40 FPS，显存占用约3.61 GB；SAM2.1-Base版本也能达到约30 FPS。同时，模型继承了VOS tracker的灵活提示能力，支持mask、point、box、text等多种提示方式。

SAM2Matting在不同分辨率下，相比于过去SOTA方案，都能保持更快更稳定的FPS和更低的显存开销