InternImage基于卷积的基础模型详解与网络技术分析

最近，来自浦江实验室、清华大学等机构的研究人员发布了一款全新的大规模视觉模型——InternImage。与当前主流的Transformer架构不同，该模型将核心算子替换为可变形卷积。这意味着什么呢？简单来说，InternImage不仅能获得检测和分割任务所需的动态有效感受野，还能根据输入信息和任务需求进行自适应空间聚合，从而充分释放卷积网络的潜力。结果令人瞩目：InternImage-H在COCO物体检测任务上达到了65.4 mAP，在ADE20K语义分割任务上取得了62.9的分数，双双刷新了纪录。

近年来，大规模视觉Transformer发展迅猛，在多个基准上显著超越了传统卷积网络。通过扩大参数量和训练数据规模，Transformer模型一度将CNN压在了身后。那么问题来了——CNN究竟输在哪里？来自上海人工智能实验室、清华大学、南京大学、商汤科技和香港中文大学的研究者们经过细致对比，发现存在两个核心差距：一是在算子层面，传统CNN缺乏长距离依赖建模和自适应空间聚合能力；二是在结构层面，传统CNN缺少LayerNorm、FFN、GELU等先进组件。

针对这些瓶颈，浦江实验室和清华大学等机构的研究者提出了一个全新的基于卷积的大规模视觉模型——InternImage。其核心思想是将稀疏动态卷积作为主算子，通过输入相关的信息实现自适应空间聚合。通过减少传统CNN中过于严格的归纳偏置，InternImage能够从海量数据中学习到更强大、更稳健的大规模参数模式。最终，在图像分类、目标检测和语义分割等多个任务上，这一方案得到了验证。在ImageNet、COCO和ADE20K等具有挑战性的基准测试中，相同参数量下InternImage直接超越了视觉Transformer，为图像大模型开辟了一条全新的技术路径。

论文地址：https://arxiv.org/abs/2211.05778
开源代码：https://github.com/OpenGVLab/InternImage

传统卷积神经网络的局限

扩大模型规模是提升特征表示质量的关键策略。在计算机视觉领域，参数越多，表征学习能力越强，越能从海量数据中挖掘有用的知识。此前，ViT和Swin Transformer已经将模型规模推到了20亿和30亿参数级别，单模型在ImageNet上的分类准确率突破90%，远远甩开了传统CNN和小规模模型。然而，传统CNN由于先天缺乏长距离依赖和空间关系建模能力，很难像Transformer那样顺利扩展规模。研究者总结了具体差异：

• 算子层面：视觉Transformer的多头注意力机制天然具备长距离依赖和自适应空间聚合能力，因此能从海量数据中学到比CNN更强大、更鲁棒的特征表示。
• 模型架构层面：Transformer拥有CNN不具备的先进模块，比如LayerNorm、前馈神经网络FFN、GELU等。

尽管近期有些工作尝试用大核卷积来获取长距离依赖，但在模型尺度和精度上仍然与顶尖视觉Transformer存在差距。

可变形卷积网络的进一步拓展

InternImage通过重新设计算子和模型结构，提升了卷积模型的可扩展性，同时缓解了归纳偏置的束缚。具体包括三个要点：

• DCNv3算子：在DCNv2基础上引入共享投射权重、多组机制和采样点调制。
• 基础模块：融合先进组件作为模型构建的基本单元。
• 模块堆叠规则：在扩展模型时规范化宽度、深度、组数等超参数。

这项工作的核心目标是构建一个能够有效扩展到大规模参数的CNN模型。第一步，重新设计可变形卷积算子DCNv2，使其适应长距离依赖并弱化归纳偏置；第二步，将改进后的卷积算子与先进组件结合，建立基础模块；第三步，探索并实现模块的堆叠和缩放规则，最终搭建出一个具有大规模参数、能从海量数据中学习强特征表示的基础模型。

算子层面，研究首先总结了卷积算子与其他主流算子的区别。目前Transformer主要依靠多头自注意力机制实现大模型，其算子具有长距离依赖性，能构建远距离特征之间的连接，还能自适应聚合空间信息，建立像素级关系。但全局注意力机制的计算和存储消耗巨大，难以高效训练和快速收敛。局部注意力机制又缺乏远距离依赖。大核密集卷积由于没有空间聚合能力，难以克服卷积的归纳偏置，不利于模型规模的扩大。为此，InternImage设计了动态稀疏卷积算子，既能实现类似全局注意力的效果，又不会过多浪费计算和存储资源，从而保证高效训练。

研究者以DCNv2为基础，重新设计并提出了DCNv3算子。改进包括以下几个方面：

• 共享投射权重：常规卷积中DCNv2的不同采样点拥有独立的投射权重，参数大小与采样点总数线性相关。为了降低复杂度和内存占用，借鉴可分离卷积思路，用位置无关的权重代替分组权重，在所有采样点之间共享投影权重，同时保留所有采样位置的依赖性。
• 引入多组机制：分组设计最早出现在分组卷积中，在Transformer的多头自注意力中也广泛使用。它可以配合自适应空间聚合，提高特征多样性。研究者将空间聚合过程分成若干组，每组有独立的采样偏移量。这样单个DCNv3层的不同组便拥有了不同的空间聚合模式，从而产生丰富的特征多样性。
• 采样点调制标量归一化：为了缓解模型容量扩大时的不稳定问题，将归一化方式改为逐采样点的Softmax归一化。这不仅让大规模模型的训练更加稳定，也构建了所有采样点之间的连接关系。

构建DCNv3算子后，首先要规范化基础模块和其他层的整体细节，然后探索堆叠策略来构建InternImage，最后根据扩展规则构建不同参数量的模型。

基础模块。与传统CNN常用的瓶颈结构不同，该研究采用了更接近ViTs的基础模块，配备了GELU、层归一化（LN）和前馈网络（FFN），这些组件在各种视觉任务中被证明更高效。基础模块的结构如上图所示，核心是DCNv3，通过轻量级可分离卷积预测采样偏置和调制尺度。其他组件与普通Transformer设计保持一致。

叠加规则。为了明确区块堆叠，研究提出了三条规则：
（1）后三个阶段的通道数由第一阶段通道数决定：；
（2）各模块组号与各阶段通道数对应：；
（3）堆叠模式固定为“AABA”，即第1、2、4阶段的模块堆叠数相同，且不大于第3阶段。基于此，选择30M参数级别的模型作为基础：Steam输出通道数为64；分组数为每个阶段输入通道数的1/16，第1、2、4阶段的模块堆叠数为4，第3阶段为18，总参数量为30M。

模型缩放规则。在上述最优模型基础上，研究规范了两个缩放维度：深度D（模块堆叠数）和宽度C（通道数）。通过限制因子和，沿着复合系数进行缩放：，其中，实验最佳设置为。

按此规则，研究构建了不同尺度的模型：InternImage-T、S、B、L、XL。具体参数如下：

实验结果

图像分类实验：使用427M的公共数据集（Laion-400M、YFCC15M、CC12M），InternImage-H在ImageNet-1K上的准确率达到89.2%。

目标检测：以最大规模InternImage-H为骨干网络，采用DINO检测框架，在Objects365数据集上预训练，然后在COCO上微调。最终在目标检测任务中达到65.4%的AP，刷新了COCO检测任务的性能天花板。

语义分割：InternImage-H在语义分割上也表现强劲，结合Mask2Former在ADE20K上达到62.9%的mIoU，目前处于最高水平。

结论

InternImage是一个全新的基于CNN的大规模基础模型，能够为图像分类、目标检测和语义分割等多样化视觉任务提供强大的特征表示。研究者对灵活的DCNv2算子进行了适应性调整，并以其为核心开发了一套完整的block、stacking和scaling规则。在目标检测和语义分割基准上的大量实验表明，InternImage可以获得与经过大量数据训练、精心设计的大规模视觉Transformer相当甚至更优的性能。这证明CNN依然是构建大规模视觉基础模型的一个极具竞争力的选项。当然，大规模CNN的研究仍处于早期阶段，研究者希望InternImage能作为一个良好的起点，启发更多后续工作。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：InternImage基于卷积的基础模型详解与网络技术分析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题