Swin Transformer：让Transformer真正适用于视觉任务的层次化架构

一句话解释

Swin Transformer是一种专为图像识别设计的Transformer模型，它通过将图像划分为不重叠的局部窗口并在不同层级移动窗口来建立跨窗口连接，从而高效提取多尺度视觉特征。

为什么会被关注

传统Vision Transformer直接对全局做自注意力，计算量随图像尺寸平方增长，难以处理高分辨率图像。Swin Transformer引入局部窗口注意力和窗口移位机制，将复杂度降为线性，同时通过层级设计获得多尺度特征，在图像分类、目标检测、语义分割等多个视觉任务上媲美甚至超越CNN。

它打破了Transformer在计算机视觉领域依赖大量训练数据和预训练的瓶颈，大幅降低了训练成本，并成为许多现代视觉模型（如BEiT、SimMIM、AS-MLP）的默认骨干。因此被ICCV 2021评选为最佳论文，并迅速被业界广泛采用。

核心逻辑

Swin Transformer的核心在于交替使用两种自注意力模块：常规窗口注意力（W-MSA）和移位窗口注意力（SW-MSA）。首先将特征图均匀划分为若干个不重叠的局部窗口，在每个窗口内计算自注意力。下一层则对窗口进行偏移（shift），使原先窗口间的边界区域被重新划分到新窗口内，从而让信息得以跨窗口流动。

通过连续堆叠这两种模块，网络在保持局部计算效率的同时，也能建立全局依赖。此外，Swin Transformer借鉴了CNN的层级思想，通过Patch Merging逐渐下采样特征图，形成类似特征金字塔的多尺度表示，非常适合目标检测和分割任务。

常见场景

图像分类：作为骨干网络在ImageNet上取得84.0%以上的Top-1准确率，超过同类Transformer和许多CNN。目标检测：将Swin Transformer作为Backbone集成到Mask R-CNN、Cascade R-CNN等检测器中，在COCO数据集上大幅刷新mAP指标，尤其擅长检测小目标。

语义分割：在ADE20K等语义分割基准上，Swin-Tiny版本的mIoU达到51.3%，超过ResNet-101和Swin-Base则高达55.1%。此外，多模态任务（如图文结合）和视频理解（如动作识别）中也直接用Swin Transformer进行时空特征提取。

容易混淆的点

Swin Transformer并非“滑动窗口卷积”，它的窗口只是计算注意力的局部区域，不是卷积操作。虽然SW-MSA实现了跨窗口通信，但并不会像滑动卷积那样逐像素移动。其本质仍是自注意力机制，只是通过分区策略降低复杂度。

另外，Swin Transformer不是唯一使用窗口注意力的模型，类似思想也在PVT、CSWin等中存在，但Swin Transformer的关键创新在于“交替移位”的简洁设计和完整层级结构，而非简单的窗口划分。容易与ViT混淆的地方在于，ViT是一个全局单尺度模型，而Swin是多尺度层次模型。