深度学习结构中纹理特征高效应用实战方法

本文延续上一篇讨论的焦点，深入剖析纹理分析在图像分类任务中的重要性，以及在深度学习框架中如何高效运用纹理信息。此外，还将介绍几种主流的纹理提取技术——它们与预训练模型协同工作，能够显著提升分类任务的效率。

为顺利理解本文内容，读者最好对纹理提取技术、迁移学习，以及ResNet、InceptionNet等经典预训练模型具备基本认知。

近年来，深度学习在图像分类、分割和识别领域取得了显著成效。然而，在许多依赖纹理特征的分类场景中，传统CNN架构往往表现不佳。为此，研究者们陆续提出了多种新型网络架构。早期的纹理分类方法通常将预训练模型（如ResNet、InceptionNet）作为特征提取器，再在其激活输出上叠加一层纹理特征提取技术。

如果数据集本身富含纹理信息，那么将额外的纹理特征提取技术作为端到端架构的一部分，效果会显著提升。问题在于，预训练模型越复杂，最后一层捕获的特征越抽象——这些特征更多描述了物体的形状，而非图像中重复出现的纹理模式。为解决这一矛盾，研究者们提出将纹理提取技术与CNN相融合。这样一来，纹理特征能够被更精准地捕捉并用于分类。

在基于纹理的分类任务中，为什么纹理分析对深度学习如此关键

纹理本质上依赖局部模式，而传统深度学习方法却更关注复杂的高层特征，这对纹理分类帮助有限。因此，CNN架构在纹理特征提取方面表现一般。要让深度学习在纹理数据上发挥优势，需要找到一种方法：既能从图像中提取纹理专属特征，又能保留全局特征，然后将两者一同送入全连接层。这样的架构设计，能使全连接层获得更具信息量的纹理特征，从而更有效地划分类别边界。

图1，局部特征提取示例

从图1中可以清晰看到：从织物显微图像中提取的局部特征，外观极为相似——这些局部特征足以代表织物的纹理类型。假设我们利用纹理分析技术，从给定织物图像中提取局部特征（LF），会发现相同的局部模式在整个图像中反复出现。在示例中，三个局部特征几乎完全一致。相比全局特征，提取这些局部特征价值更高，因为它们在定义织物纹理类型时更为可靠，有助于区分不同的“纹理类型”类别。

纹理分析的核心，在于识别和提取纹理的方法。深入理解这些方法，能帮助我们确定哪种技术最适合特定的纹理类型，以及如何应用到具体图像上。掌握了纹理分析知识，我们就能开发基于纹理的技术，并以“层”的形式嵌入神经网络架构，使纹理分析方法和CNN骨干网络无缝配合。

如何在深度学习结构中有效提取纹理特征

在典型的CNN架构中，并没有明确的手段强制传递给全连接层的激活中包含纹理特征。假设我们需要按纹理类型对一批图像进行分类，如果能迫使模型更关注图像中的纹理特征，分类性能必将大幅提升。

近年来的研究已经提出多种纹理特征提取技术，这些技术可以以“专门的、可微的网络层”形式与CNN架构集成。一旦将纹理提取层嵌入传统CNN架构，最大的优势在于：局部特征和全局特征可以同时送入全连接层，这将显著辅助类别边界的判定。

需要指出的是，每种纹理提取技术能够捕捉的纹理特征类型各不相同，不存在“万能”的解决方案。由于纹理是图像的局部属性，这些技术的核心都是突出图像的局部特征。

接下来，我们将梳理近年来开发的几种纹理提取技术，以及它们与CNN架构搭配时，具体应用于哪些纹理分类任务。

深入纹理提取技术、方法及其在预训练激活输出上的应用

DeepTen

DeepTen网络是一种利用损失函数、在端到端学习框架中学习视觉词汇的技术。它在卷积层之上额外引入了编码层。DeepTen的独特之处在于：字典、特征、分类器和编码表示可以同时进行学习。这里的“字典”指的是输入数据的稀疏表示。

为什么它有助于纹理分析

在一般计算机视觉任务中，人们常使用SIFT（尺度不变特征变换）或滤波器组来提取手工特征。但DeepTen不同，它的每个部分都针对给定的端到端模式/纹理/材料识别任务进行了调优。整个管道一起训练，特征为识别任务提供了一种无序的编码表示。

如何使用它进行基于纹理的分类

DeepTen引入了一个可学习的残差编码层，该层将残差学习和整个字典嵌入到CNN的单层中。这个编码层具有三个主要特性：

• 广义鲁棒残差编码器，能够描述特征分布；
• 作为卷积层之上的池化层，提升了深度学习模型的灵活性；
• 使模型适合迁移预训练特征——它学习了一个包含领域特定信息的固有字典。

图2，编码层学习到的固有字典

图2展示了字典的码字与输入视觉描述符如何共同计算残差，利用两者之间的距离获取赋值权值，最后聚合残差向量和赋值权值。由于编码层是一个有向无环图（图2），它是可微的，可以采用随机梯度下降和反向传播进行训练。

应用案例

DeepTen拉近了CNN与经典计算机视觉任务的距离，在纹理和材料识别中非常高效。想了解编码层的具体实现及如何集成到CNN中，可参考论文：https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_Deep_TEN_Texture_CVPR_2017_paper.pdf

DEPNet

深度编码池（Deep Encoding Pooling, DEP）是一种将局部空间信息与无序纹理细节相结合的技术。它利用有监督的参数分布来界定类别边界，并建立类与类之间的关系。

传统方法中，先使用定制滤波器组过滤纹理图像，然后采用基于直方图或词袋的方法对输出进行分组。特征提取则是将直方图或词袋的输出送入预训练的卷积层。但在DEPNet中，纹理图像首先经过卷积层，输出再送到编码层和全局平均池化层。

为什么它有助于纹理分析

DEPNet特别关注局部空间信息和无序表示。其中，编码层负责捕捉纹理外观细节（即“无序纹理”——不关心局部特征的空间顺序），而全局平均池化层则负责捕捉空间信息。两层通过双线性模型协同处理。

图3，DEPNet的网络结构

DEPNet的双线性模型使用全连接层的输出——这些输出是向量，对外积没有限制，计算时也不必考虑特征向量外积的计算复杂度。在深度编码池网络中：

• 纹理编码层将整个字典学习和视觉编码管道整合到单一CNN层，为纹理建模提供无序表示；
• 双线性模型是一种双因素模型，当其中一个因素固定时，另一个因素的输出呈线性，能够平衡两个组成部分的贡献；
• DEPNet的卷积层与基于ImageNet的预训练CNN的非线性层结合，用于特征提取。

如何使用它进行基于纹理的分类

很多场景下，数据集中的两个类别非常相似，容易导致分类错误（例如沥青与碎石，或树叶与草——树叶往往是背景）。此时需要为图像找到类别标签以及最接近的类别。DEP-manifold通过非参数算法引入积分分布，深度神经网络利用该分布直接预测纹理图像的流形坐标。基于材料类别的相似性，可以构建混淆矩阵。分类错误的元素在对角线附近具有接近的相关性，这些图像可归类为密切相关的类。

图4，从超过1000张随机图像的GTOS训练集中提取特征（在分类层之前执行）

在图4中，混淆矩阵的深蓝色代表高相关性，浅蓝色代表低相关性。有些类被错误分类，但仍可视为最接近的类。出现多个深蓝色点的列，表明这些类之间关系密切。

应用案例

DEPNet的整体架构类似于有向无环图，所有参数均可通过反向传播训练。它是一种专用于地面地形识别的算法。论文详见：https://openaccess.thecvf.com/content_cvpr_2018/papers/Xue_Deep_Texture_Manifold_CVPR_2018_paper.pdf

DSRNet

纹理技术通常侧重于提取纹理的无序空间排列，但纹理的内在结构特性同样不可忽视。深度结构显示网络（DSR-Net）侧重于结构表示——纹理分析通过捕捉纹理之间的空间关系来完成。

为什么它有助于纹理分析

DSRNet的核心思想是：纹理的空间排列可以有多种感知，但它们之间存在空间依赖性，这种依赖关系不会随空间布局改变，反映的是纹理的结构属性。见图5，一个纹理可以呈现多种感知形式。

图5，A：不同纹理带有移动的纹理元素，B：可移动纹理元素之间的空间依赖性

如何使用它进行基于纹理的分类

DSRNet通过两个模块捕捉纹理间的结构关系：原始捕获模块（PCM）和依赖学习模块（DLM）。如图6所示，DSR-Net包含两个分支——结构显示分支和空间有序分支。首先以ResNet50为骨干提取特征，然后将特征串联形成特征池以获得局部空间特征。接着将结构显示分支的输出与空间有序分支的输出相加，最后送入全连接层。

图6，a) DSR-Net的完整架构 b) structure-reveal模块的详细架构

PCM在空间上下文中对纹理施加约束，这些约束共有八个方向。如图7所示，方向映射用于从给定输入中捕获主要模式。

图7，原语捕获模块（PCM）示意图（for each position指PCM计算的每一步）

图8展示了PCM捕获的模式传递给DLM后，DLM采用两种协作策略在本地生成多个候选原语之间的依赖关系。

图8，依赖学习模块（DLM）说明

应用案例

由于DSRNet基于纹理的结构特性，它对亮度变化和空间变形具有很强的鲁棒性。除了纹理分类，它还可用于场景解析和细粒度识别等其他视觉任务。详情请见：https://openaccess.thecvf.com/content_CVPR_2020/papers/Zhai_Deep_Structure-Revealed_Network_for_Texture_Recognition_CVPR_2020_paper.pdf

CLASSNet

CLASSNet是一种利用CLASS（Cross-Layer Aggregation of Statistical Self-similarity）技术构建的神经网络。它通过在CNN不同层之间加入统计自相似性（SSS）——这是纹理的一个众所周知的性质——来改变网络结构。

纹理包含许多相互矛盾的特性，这些特性由具有统计平稳性的随机过程捕获。“统计平稳性”指两个或多个区域在某些统计量上具有相似值。纹理中的各种模式都由这些相同的统计量表示。图9展示了三片叶子形状相似、统计一致的情况。

图9，自相似的图例

为什么它有助于纹理分析

将小波变换与SSS结合，形成跨层SSS，以便更好地提取特征图用于分类。同时，SSS与CNN结合能够获得空间纹理信息。

如何使用它进行基于纹理的分类

如图10所示，从不同CNN层选取的特征映射被叠加为特征张量，其中一个沿通道维度的张量就是跨层SSS。使用滑动窗口沿通道采样局部特征，然后在每个采样块上计算差分盒计数（DBC）维数。最后将所有块上DBC维度的直方图用作描述符。

图10，CLASS说明。来自CNN的堆叠特征图在滑动窗口下采样，计算每个DBC块的DBC维数，得到直方图

跨层方式的特征聚合在ResNet各层的卷积层内完成——ResNet是CLASSNet的主干网络。由于DBC的计算基于SSS，可以方便地迁移到ResNet骨干网络；SSS在改进特征聚合方面也非常有用。

图11，CLASSNet的体系结构说明

图11简要描述了ResNet骨干网络的连续残差块（RB）如何与全连接层和GAP层连接。残差块由几个卷积层和跳跃连接组成。CLASS模块集成在所有残差块之上。

CLASS模块包含4个阶段：

• 尺寸归一化：对每个特征向量执行1x1卷积，然后上采样到固定尺寸；
• 跨层分组：将所有特征映射堆叠在一起；
• DBC池化：在每个采样路径上计算DBC以获得局部补丁；
• 聚合：聚合前，对特征图（上一步获得）执行1x1卷积，对残差向量施加softmax计算软直方图，然后在此基础上计算共享bin中心的软直方图。

应用案例

CLASS模块并没有引入太多新参数，只有可学习的bin中心、用于软直方图的缩放因子，以及用于尺寸归一化和DBC池化后生成软直方图的卷积层权重。所有这些参数与ResNet一起训练。CLASS模块适合较轻量级的主干场景。CLASSNet是一种经过验证的纹理识别模型，在多种数据集上表现良好。详情见：https://openaccess.thecvf.com/content/CVPR2021/papers/Chen_Deep_Texture_Recognition_via_Exploiting_Cross-Layer_Statistical_Self-Similarity_CVPR_2021_paper.pdf

FENet

CNN经常使用全局平均池化（GAP）来捕捉纹理的空间特征，但GAP无法描述纹理的复杂分布模式。为此，FENet引入了分形编码（Fractal Encoding, FE），利用局部-全局层次的分形分析，找出纹理在空间排列中的模式。

为什么它有助于纹理分析

分形几何是纹理合成和分析中常用的一种方法。许多自然纹理都包含分形维数信息，能够告诉我们纹理图像中图案的规律性。如图12所示，两种不同类型的纹理，通过计算它们的分形维数就能轻松区分。

图12，图像及对应图像的分形维数

在图12中，特定区域的黑白像素值可能相同，但纹理类型却完全不同。FE（分形编码）利用这些基于分形维数的统计信息，来描述纹理的空间布局，以便更好地提取特征。

如何使用它进行基于纹理的分类

FE使用全局特征编码模块，通过特征图找到空间模式。FE模块利用分形分析池（FAP）根据图像的局部分形维数对纹理点进行分组。图13是FE模块的完整深度架构。

图13，FE模块完整示意图。FE模块从CNN骨干网络接收输入，通过两条路径：第一条经GAP和全连接层，第二条经上采样层和FAP层，最后用双线性池化层（BLP）组合

FAP包含三个子部分：

• 局部维数估计块（LDEB）：从输入特征片创建逐点的局部分形维数图；
• 点分组块（PGB）：从LDEB接收输入，根据分形维数图对特征切片分类，生成一组软隶属度图；
• 全局维数计算块（GDCB）：接受PGB输入，计算分形维数。

当FE模块在ResNet最后一层之前使用时，效果更佳。

应用案例

FENet在纹理识别上取得了令人印象深刻的结果，还可用于问题分割、分类，以及数字图像中纹理的一般建模。深入了解FE模块的工作机制、架构以及分形计算如何与ResNet结合，可查看：https://proceedings.neurips.cc/paper/2021/file/c04c19c2c2474dbf5f7ac4372c5b9af1-Paper.pdf

Histogram（直方图层）

直方图层主要利用直方图捕获局部空间特征的分布，并通过反向传播来估计层的参数。引入直方图层带来了两个好处：精细组合过的特征，以及通过深度学习放大的纹理特征。

直观思路

直方图是处理纹理数据的一种成熟且有效的方法。bin中心和宽度的确定对特征提取至关重要。这些边界不再由人工决定，而是通过反向传播来优化。

为什么它有助于纹理分析

特征工程是一个耗费人力、计算力和时间的过程。传统上依赖手工技术（如局部二值模式LBP、梯度直方图）来区分基于空间分布的特征。后来深度学习出现并开始取代这些技术——但问题在于，深度学习需要很多层才能提取出最优特征。直方图层则将深度学习与手工特征的优点结合起来加以利用。

如何使用它进行基于纹理的分类

通常使用直方图时，需要手动设定bin中心与宽度。而在直方图层中，我们采用径向基函数（RBF）作为直方图bin的操作函数。直方图参数的精确值通过反向传播来估计。如图14所示，直方图参数将作为局部化的直方图层，维护纹理分析的空间内容。

图14，图像包含其他纹理（不只是草）。局部直方图能区分图像中包含纯草（上两个直方图）或混合其他纹理（下两个直方图）的部分

直方图层主要由两部分构成：

1. 软bin操作：使用RBF为直方图提供平滑估计。当bin中心与特征值相等时，RBF值为1，随着特征值远离bin中心，值趋于0。图15展示了图像直方图特征图的计算过程（M×N为输入空间维度，S×T为滑动窗口大小，生成R×C的直方图，B为bin总数）。
2. 反向传播：通过端到端学习更新bin中心和宽度，利用RBF计算梯度，根据特征图值与bin中心的距离更新参数。

图15，局部直方图操作可视化。给定图像生成B个大小为R×C的直方图特征图（B为bin总数），输入图像尺寸M×N，滑动窗口尺寸S×T

最终模型中，输入图像先经过卷积层提取卷积特征，再经过全局平均池化（GAP）和直方图层，获取纹理、空间和低阶卷积特征。然后这些特征被连接起来，送入全连接层进行分类。直方图层的放置位置可以从1到5不等。图16中，最后一个卷积层（位置5）的特征映射被传递到直方图层。

图16，ResNet直方图层。卷积层的输出被传递到GAP层和直方图层，直方图层位置可从1到5不等

应用案例

一旦从直方图和CNN层中提取出图像信息，就可以一起进行微调。直方图层可以嵌入任何人工神经网络，适用于纹理合成、分割和纹理形状等纹理分析任务，而不仅限于分类。更多信息可查看研究：https://arxiv.org/pdf/2001.00215v9.pdf

总结

上文讨论的几种方法广泛用于各类纹理分类任务。在为基于纹理的分类任务实现深度学习模型时，这些技术可以作为参考或灵感，与自定义模型或预训练模型结合使用。根据手头的数据集和任务特点，明智地选用这些技术，能够有效提升模型的分类准确率。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：深度学习结构中纹理特征高效应用实战方法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题