PKINet二代破解遥感目标形状尺度难题推理提速近4倍

卫星和航空影像里的目标，跟自然图像里的东西完全是两码事。自然图像中物体的拍摄视角相对稳定，可遥感影像完全不同——一张高分辨率卫星图里，差不多圆的储罐、狭长的桥梁和船舶、密密麻麻的小汽车，还有大面积的足球场，全都挤在一个画面里。目标可以朝任意方向旋转，尺寸也从不足10像素的小物体，一路跨度到覆盖大片区域的场地目标。

这就带来了两个棘手的问题：

一个是几何复杂性。目标的朝向和长宽比变化极大，像桥梁、船舶这类细长结构，特别需要沿着主轴方向去聚合信息；另一个是空间复杂性。目标尺度跨度太大，模型既要保留小目标的纹理细节，又要看得见大范围上下文背景。

如果只用条带卷积，虽然有利于描述细长结构，却容易破坏那些规则目标的二维空间连贯性，还会丢失微小目标的局部细节。反过来，只用方形大核，能扩大观察范围，但往往在细长目标周围引入更多背景噪声。说白了，遥感检测需要的不是一把固定形状的“放大镜”，而是一组能跟着目标形态和尺度灵活调整的观察窗口。

现实中，做遥感检测的模型经常面临一个艰难的取舍：想让网络“看得更远、更细”，通常要付出更多计算成本；想跑得更快，又得牺牲复杂场景下的检测精度。但南京理工大学、浙江大学等机构最新提出的PKINet-v2，似乎同时满足了这两个看似矛盾的要求。

PKINet-v2论文： https://arxiv.org/pdf/2603.16341
PKINet-v1论文： https://arxiv.org/abs/2403.06258
项目代码： https://github.com/NUST-Machine-Intelligence-Laboratory/PKINet

在CVPR 2024发表的前作PKINet基础上，v2版本把条带卷积与多尺度方形卷积统一了起来，并且把训练时的多分支结构，等价折叠成部署时的单个大核。效果如何？在Oriented R-CNN统一设置下，PKINet-v2-S相比v1-S版本，mAP提升了2.07个百分点，FPS从14.05提高到54.60，差不多是前作的3.9倍。

具体来看，在DOTA-v1.0单尺度训练和测试、Oriented R-CNN检测器的统一设置下，标准版PKINet-v2-S直接拿到了80.46 mAP的成绩，比PKINet-v1-S的78.39高了2.07个百分点。与此同时，完整检测模型的FPS从14.05飙升到54.60，而参数量几乎没变（30.8M微降至30.7M），FLOPs也从184G降到了173G。

而且，这种提升并不依赖某一个特定的检测头。把PKINet-v2接入Rotated FCOS、R3Det、S²ANet、RoI Transformer、Rotated Faster R-CNN和Oriented R-CNN后，相比v1版本分别提升了2.27、1.75、1.85、2.70、2.57和2.07个mAP百分点。

图1 在多种旋转检测器上，PKINet-v2的运行点整体向「更高精度、更高FPS」移动

需要说明的是，这里的速度数据均来自论文给定的单张NVIDIA A100-40G GPU测试环境，不能直接等同于无人机、边缘芯片或星上设备上的实际帧率。但它至少说明，在统一硬件条件下，新骨干架构显著减少了推理开销。

从PKINet到PKINet-v2

PKINet采用的是无空洞的并行多尺度方形卷积，用于提取不同尺度目标及其局部上下文，再通过Context Anchor Attention（CAA）补充长程信息。这个方案在DOTA-v1.0、DOTA-v1.5、HRSC2016和DIOR-R等基准上都取得了不错的结果，为Poly-Kernel这条技术路线提供了稳定验证，也成了PKINet-v2的直接起点。

PKINet-v2并非另起炉灶，而是围绕前作仍可改进的几何适配、计算冗余和部署效率问题，完成了四项关键升级：

首先，从“多尺度建模”走向“几何与空间协同建模”。v1版本的3×3到11×11方形卷积主要应对尺度变化；v2则进一步加入了横向和纵向条带卷积，让网络既能沿着细长目标的主轴捕获长距离依赖，也能保留规则目标的二维结构。

其次，从“密集大核”走向“层次化渐密感受野”。新设计把全跨度条带分支、稀疏膨胀方形分支和稠密局部分支组合在一起，从外围到中心逐步增加采样密度，以较少的冗余同时覆盖长程上下文和局部细节。

第三，从“多分支直接推理”走向“训练多分支、部署单分支”。训练时保留多种形状的卷积分支，部署前再严格等价地融合成一个19×19的逐通道卷积，这样可以减少GPU反复调用不同算子和读写中间特征的开销。

最后，在前作基础上，进一步兼顾精度与效率。统一Oriented R-CNN设置下，mAP提高了2.07个百分点，FPS约是前作的3.9倍，参数量和FLOPs甚至都没有增加。

核心技术：让卷积核既会“拉长看”，也会“向外看”

PKINet-v2仍然采用四阶段层次化骨干架构。图像进入网络后，逐步下采样并扩大通道数；每个阶段堆叠若干PKINet-v2 Block，其中最核心的，就是负责空间建模的PKS模块。

图2 PKINet-v2总体结构，包括四阶段骨干、PKINet-v2 Block和PKS模块

PKS：五条分支，覆盖不同形状和尺度

Poly-Kernel Scope（PKS）可以理解为一套“异形镜头组”。输入特征先经过5×5逐通道卷积提取局部信息，随后被送入五条并行分支——

一条由1×19和19×1卷积串联构成的轴向条带分支，重点观察桥梁、船舶这类狭长结构；三条核尺寸分别为7×7、5×5和3×3的稀疏方形分支，用较低成本扩大上下文范围；还有一条稠密3×3分支，负责保留中心区域的纹理和微小目标细节。

五条分支组合之后，就形成了一种“层次化渐密”的感受野：外围覆盖范围大，越靠近中心采样越密。这样一来，网络既能看见目标整体，又不至于把局部纹理冲淡。

HKR：训练时五路并行，部署时合成一路

多分支结构有利于学习，但未必适合部署。如果推理时逐条执行，会产生多次kernel启动、中间特征生成和重复内存访问，效率堪忧。

Heterogeneous Kernel Re-parameterization（HKR）的思路非常直接：先把每条卷积分支与其BN层融合，再把不同尺寸、不同膨胀率的方形核映射到统一的19×19网格；横向与纵向条带分支也可以通过逐通道外积变成等价的19×19卷积核。最后，所有权重与偏置相加，就得到了一个单分支大核。

图3 左侧为PKS的层次化渐密感受野，右侧为HKR等价融合过程

注意，这不是用小模型去近似原模型，而是对计算图做严格等价变换。所以HKR前后，模型的输出和mAP完全一致，速度收益主要来自减少碎片化执行和内存流量。

实验结果

DOTA-v1.0：精度与速度同步前进

在标准设置下，PKINet-v2-S达到了80.46 mAP，高于Strip RCNN-S的80.06和PKINet-v1-S的78.39。最新代码仓库还提供了一个PKINet-v2-S-Sqrt5配置，在相同数据集的单尺度设置下达到80.75 mAP。

从类别层面看，Bridge类别从v1-S的55.81提高到了57.72；Small Vehicle和Soccer Ball Field分别达到81.21和71.97。这说明同一骨干架构确实能够同时应对高长宽比目标、密集小目标和大尺度目标。

论文表3 DOTA-v1.0单尺度训练与测试结果

不只DOTA：船舶和更广泛遥感场景同样有效

在DOTA-v1.5上，PKINet-v2-S拿到了73.57 mAP，相比v1-S提升了2.10个百分点；在DIOR-R上，成绩是69.40 mAP，比前作提高了2.37个百分点。

在专门面向任意方向船舶检测的HRSC2016数据集上，模型取得了90.75 mAP(07)和98.84 mAP(12)。这组提升虽然不如DOTA上的幅度那么大，但仍说明混合核设计能够稳定地适应细长船舶这类目标。

论文表5-6 PKINet-v2在HRSC2016与DIOR-R上的结果

越“奇形怪状”的目标，提升越明显

研究团队进一步按目标长宽比和相对面积做了分桶分析。与PKINet-v1-S相比，在长宽比为3-4和6-7的区间，PKINet-v2-S的mAP分别从36.59、19.60提高到了45.21、26.18，提升幅度达到了8.62和6.58个百分点。

在最小目标区间，mAP由12.98提高到13.43；在最大目标区间，则由69.50提高到71.39。这意味着，PKS不仅对细长目标有效，对极端尺寸变化也保持了相当稳定的适应能力。

论文表8 不同目标长宽比与相对尺寸区间的性能分析

定性结果也呈现出了类似的趋势：面对狭长目标、密集小目标以及多尺度目标同时出现的复杂场景，PKINet-v2相比PKINet-v1、Strip RCNN和LSKNet，出现的漏检明显更少。

图4 DOTA-v1.0可视化对比：上半部分对应几何复杂性，下半部分对应空间复杂性

消融实验：混合核负责精度，HKR负责速度

如果只保留dense、strip或sparse分支，模型分别得到78.57、79.62和79.36 mAP；而三类形态组合后的Hybrid设计，则直接达到了80.11 mAP。这说明条带核与方形核并不是简单堆叠，而是在不同目标形态和尺度上形成了真正的互补关系。

HKR则主要贡献在部署效率上：PKINet-v2-T的FPS从46.2提高到了58.0，PKINet-v2-S从43.4提高到了54.6，而两种模型的mAP均保持不变。

论文表9 核形态、膨胀率、分支数量和HKR的消融实验

总结与应用展望

回顾一下，PKINet-v1先用并行多尺度卷积和CAA验证了Poly-Kernel路线在处理尺度变化与多样上下文方面的潜力；PKINet-v2则沿着这个起点，把复杂几何建模、多尺度上下文聚合和高效部署进一步统一到同一个骨干架构中。

从方法论上看，PKS让模型同时拥有了适合细长目标的条带感受野、适合规则目标的方形感受野，以及面向微小纹理和大范围场景的不同尺度能力；HKR则把训练期的结构复杂性，巧妙折叠成了部署期的单分支算子。

这种能力可以为航空与卫星影像中的飞机、船舶、车辆、桥梁、港口和运动场检测提供基础支撑，并进一步服务于城市规划、环境监测、灾害管理以及大范围遥感影像自动解译等应用场景。

当然，论文中披露的失败案例也提醒我们，极小目标、严重模糊、显著遮挡、紧密排列，以及外观高度相似的目标，仍然可能出现漏检或误分类的问题。未来，除了继续提升困难样本的细粒度特征建模能力之外，PKINet-v2还可以进一步验证在语义分割、变化检测、场景分类，以及无人机、边缘设备和星上平台等具体硬件环境中的适用性。

参考资料：
https://arxiv.org/pdf/2603.16341

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：PKINet二代破解遥感目标形状尺度难题推理提速近4倍要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题