纹理分析结合深度学习提升分类效果研究

纹理分析（Texture Analysis）是计算机视觉领域中的经典研究方向，但真正将其成功落地应用的案例并不算多。在IBM，我们长期致力于探索如何借助手机摄像头与微型传感器，结合人工智能技术，来替代传统实验室中昂贵且易出错的视觉检测设备。其中的关键在于，模型不仅要处理高清图像，有时甚至需要达到微观尺度，这就要求它同时理解图像的局部细节与整体结构——将纹理特征分析与深度学习进行融合，是一条非常高效的路径。

我们先从基础问题谈起：纹理究竟是什么？

简单来说，纹理是对图像粗糙度、对比度、方向性、规则性等属性的综合度量。本质上，它是一种局部变化的重复模式（见图1）。

图1，纹理图像示例 (a)原始图像，(b)纹理重复模式

构成纹理的基本单元，可称为元纹理。图像中物体的“色调”由元纹理的像素强度决定，而“纹理”本身则描述了元纹理之间的空间排列与组织关系。

举例来说：如果元纹理之间的色调变化剧烈，但每个元纹理自身的尺寸很小，就会形成精细的纹理。反之，若一个元纹理包含大量像素，则呈现为粗糙的纹理。

进行纹理分析之前，必须先明确所面对的纹理类型。这一点至关重要，因为不同类型的纹理在特征表现上差异显著。

纹理的常见分类

纹理的分类确实颇具挑战性。诸如规律性、随机性、均匀性等概念难以精确定义，而且纹理的种类极为广泛且复杂。

通常情况下，像粗糙、凹凸、干燥、光泽、沙质、硬、尖锐这类描述，归属于粗糙类别；而细、光滑、湿、皱、丝滑、软、暗则对应光滑类别。

从广义上看，纹理可划分为触觉纹理与视觉纹理两大类。

触觉指的是通过直接触摸感知到的质地，例如光滑、柔软、坚硬、黏滑、粗糙等。木材、岩石、玻璃、金属、树叶等自然纹理就是典型的触觉纹理实例（图2）。

图2，自然纹理的例子

视觉纹理则是人眼从图像中感知到的纹理印象——照片中的物体摸起来可能很粗糙，但照片本身的触感始终是平坦光滑的。

根据随机性程度的不同，视觉纹理还可以进一步细分为规则纹理与随机纹理。

将简单、可识别的小尺寸元素重复拼接，形成的便是“规则纹理”（图3）；而由较难识别的元素随机组合而成的，则称为“随机纹理”（图4）。

图3，规则纹理的例子

图4，随机纹理的例子

那么，纹理分析技术究竟在哪些实际场景中能够发挥价值？

纹理分析的应用领域

目前，纹理分析已广泛渗透到多个行业，从医学影像到遥感探测，再到大规模图像数据库的检索，都离不开它的支持。

在工业检测领域，当常规方法难以奏效时，纹理分析往往能成为突破口。例如在木材制造行业，裂纹检测就高度依赖纹理分析技术。

地毯的分级同样借助纹理分析，通过评估地毯因磨损引起的外观变化来判断质量等级。皮革检查也是如此，通过分析颜色、厚度和灰度变化，可以有效识别出有缺陷的褶皱或疤痕。

纹理分析的应用范围十分广泛，包括纹理分类（如遥感图像分析，见图5）、纹理分割（如生物医学成像，见图6），甚至还能用于从照片中识别绘画作品。

当图像中的物体主要依靠纹理属性而非强度来区分，或者简单的阈值方法无法有效处理时，纹理分析便成为关键手段。

图5，利用纹理分析的遥感图像。由遥感领域的专家对这些纹理模式进行聚类识别和标记

下图（图6）展示的是二流腔静脉的超声图像，肝脏区域被白色斑点包围，其纹理与周围组织存在明显差异。

图6，利用纹理分析的医学图像

如今的食品行业也在积极引入纹理分析，用于评估食物的口感。硬糖、耐嚼的巧克力曲奇、脆饼干、黏稠的太妃糖、脆芹菜、嫩牛排……这些食物的质地都可以通过纹理分析轻松测量。该领域还涉及“流变学”，专门研究物质在外力作用下的变形与流动行为。

此外，纹理分析还可用于评估粘合剂、药品、护肤品、聚合物等各种产品的质量特性。

了解了应用场景之后，我们再来探讨如何在分类问题中实际运用纹理分析。

纹理分析如何应用于分类问题？为何如此重要？

分类器的核心任务，是为每张图像生成一个有效的描述符，然后将其划分到预定义的纹理类别中。

简单来说，就是将未知样本分配到预先定义好的纹理类别中，这就是纹理分类的核心含义。

该过程会综合考虑图像的图案与纹理内容。基于纹理的分类主要依赖粗糙度、不规则性、均匀性、平滑度等特征。每个类别通常拥有独特的纹理属性，这使得纹理成为帮助模型提升分类准确性的关键特征。

纹理特征提取的主要技术方法

从图像中提取纹理特征的方法多种多样。下面介绍最常用且最重要的几种技术。

GLCM（灰度共生矩阵）

GLCM是一种基础且广泛使用的统计方法。它基于二阶统计量，从同质性、均匀性等角度理解像素之间的平均相关程度。

LBP（局部二值模式）

LBP结合了结构方法与统计方法，使纹理分析更加高效。它最大的优势在于对光照变化导致的灰度变化具有很高的容忍度，且计算简单，非常适合实时应用场景。

小波变换

GLCM和LBP主要关注纹理的空间排列，但纹理还有一个关键要素——尺度。研究表明，人脑在处理图像时采用多尺度方式，通过不同空间频率的分析来识别纹理。小波变换恰好能够捕捉局部的频率与空间信息。

分形分析

分形方法主要用于衡量图像的自相似性与粗糙度。许多技术可以测量平滑度、均匀度、平均值等，但分形方法专门针对“粗糙度”进行分类。

图像梯度

梯度是边缘检测的经典技术。纹理边界一旦被准确识别，基于这些边界进行区分就变得相对简单了。

这五种方法各有侧重，在不同数据集上均表现出良好的效果。接下来看看它们各自是如何构造特征描述的。

灰度共生矩阵（GLCM）

GLCM提供了像素之间相互关联的信息。矩阵P[i, j]统计了在特定位移向量(dx, dy)的方向上，像素值对(i, j)出现的次数。矩阵的维度为n × n，其中n是图像的灰度级数。

GLCM会根据位移向量指定的距离和角度进行计算。对于一个像素x，可以在8个不同方向上计算GLCM值（如图7）。

图7，像素x的最近邻像素

更直观的例子见图8：一个4×4的图像，包含4个灰度级。在0°角，d=1，i=2，j=3时，GLCM的值为4。这意味着图像中有4次出现灰度级3的像素与灰度级2的像素水平相邻。

图8，共生矩阵的例子，4个灰度级别的4x4的图像

该矩阵可用于计算相关性、能量、熵、同质性、对比度等多种全局纹理特征。如需深入了解，可参考这篇论文：http://www.ijsrp.org/research-paper-0513/ijsrp-p1750.pdf。

局部二值模式（LBP）

GLCM着眼于整体统计，而LBP则聚焦于局部模式。由于纹理本质上是模式的重复，LBP尝试利用这些模式进行分类。每个像素的局部表示，是通过比较它与周围邻域所有像素得到的。

首先将图像转换为灰度。对每个像素，在其周围选择一个半径为r的邻域。将邻域像素标记为0或1：强度大于或等于中心像素的标记为1，否则为0（见图9，邻域为3×3）。

图9，构建LBP的第一步

接着，从任意一个邻域像素开始，顺时针或逆时针读取这个8位的二进制数组，并将其转换为十进制数（图10）。对于8个邻居，LBP码共有2^8=256种可能的组合。

图10，中心像素的8位二进制邻域，并将其转换为十进制表示

对整个图像的所有像素重复这一过程，即可得到LBP特征图像（图11）。LBP能够捕捉纹理极其精细的细节，从而显著简化分类任务。

图11，原始图（左）LBP转换后的图（右）

小波变换

如前所述，纹理分析一直缺乏一个能够有效处理不同尺寸纹理的工具。多分辨率分析（如Gabor和小波变换）很好地解决了这一问题。小波变换作用于图像的频域。

一幅图像同时包含空间域和频率域。空间域以像素矩阵表示，而频域则描述了像素值变化的速率。频率高的区域颜色变化快（对应边缘），频率低的区域变化慢（对应平滑区域）。

小波分析将图像信息分解为近似部分和细节部分。应用小波变换后，图像被划分为四个象限（图12）：

LL（低-低）：左上角，同时使用低通滤波器，保留原始图像一半的分辨率。

HL（高-低）/ LH（低-高）：右上角和左下角，交替使用高通和低通滤波器，HL显示水平边缘，LH显示垂直边缘。

HH（高-高）：右下角，同时使用高通滤波器，描述沿对角线方向的边缘。

然后对半分辨率的图像递归进行小波变换，使邻近像素之间的相关性逐渐降低。

图12

参考图13了解不同层次的小波变换效果。

图13，经过几级小波变换，得到了多分辨率图

这种表示方法被称为多尺度或多分辨率方案。小波变换后的输出易于解释，每个子部分都提供了特定方向和尺度的信息，同时保留了空间位置信息。

分形分析

利用分形维数可以识别纹理的粗糙度、平滑度、固体度和面积等特征。

在欧几里得n维空间中，如果一个闭集X是Nᵣ个互不相交的副本的并集，且每个副本按比例r缩小后都与X相同，则X是自相似的。分形维数D可用以下表达式计算：

盒计数法是计算分形维数的常用算法，步骤如下：

1. 读取二维输入图像I
2. [P, Q] = SIZE[I]
3. 如果P > Q，则 r = p；否则 r = q
4. 使用公式1计算分形维数
5. 停止

图14以Lena、bird和rice图像为例进行了展示，表1列出了对应的分形维数结果。

图14，原图：(a) Lena (b) bird (c ) rice；40% 损坏的图：(d) Lena (e) bird (f)rice

表1，使用盒计数法得到的分形维数

在不同噪声水平下，计算了损坏图像的维数，结果见表2。

表2，Lena，bird和rice的损坏图像的分形维数

从表2可以看出，图像的粗糙度与噪声密度成正比，分形维数也随之增加。

分形维数能够有效衡量图像的粗糙程度，因此在基于粗糙度的纹理分类中具有很高的实用价值。

图像梯度

图像梯度是许多计算机视觉任务的基础，也是纹理分类的重要技术手段。它主要用于边缘检测——当纹理在不利光照条件下被捕获时，边缘检测能帮助我们准确定位纹理的边界。

要计算图像的梯度，需要知道其大小和方向。大小衡量强度变化的强度，方向则指明变化的方向。

通过计算垂直变化(Gᵧ)和水平变化(Gₓ)，可以得到梯度大小(G)和方向(θ)：

Sobel方法就是一种常用的梯度检测技术。它使用预定义的垂直和水平核对图像进行卷积操作，结果如图15所示。

图15，左：原始lena图像，右：Sobel实现的图像梯度

梯度图像突出了所有边缘信息，从而能够有效分割不同的纹理区域。

在深度学习中的应用

了解了各种纹理特征提取方法后，我们来看看如何将它们与深度学习相结合，解决实际问题。

纹理分类可以通过CNN实现。CNN具有强大的模式感知能力，是目前最强大的深度学习方法之一，其难点在于找到最优的超参数配置。

图16，基本CNN模型

对于复杂的纹理数据集，基础CNN可能难以胜任。图17展示了一个更高级的网络架构，它组合了2D卷积层、池化层和批归一化层，能够更有效地训练模型。

图17，一个输入的纹理分类的CNN模型

我们还尝试了另一种方法（图18）：将原始图像与经过纹理转换的图像结合起来，通过共享权重输入到卷积层。这样，网络可以从转换后的图像中提取预计算的特征。无论是GLCM矩阵、LBP矩阵、梯度矩阵，还是它们的不同组合，都可以与原始图像一起作为输入。

图18，3个输入的CNN纹理分类模型

在图18中，原始图像、一个经过lambda层的输入以及转换后的图像，三个输入分别经过卷积层（输入128×128，输出126×126），然后送入最大池化层（输出63×63）。这一过程重复进行，直到一个Add层连接所有三个输出，生成30×30的结果。之后经过Flatten层（115200个输出）、两个连续的dense（512）→批归一化→Dropout层，最后是包含11个输出神经元的dense层。

我们在基于纹理的KTH数据集（包含11类材质）上进行了实验。表3总结了不同方法的对比结果，图19是可视化展示。

表3，不同的方法的对比

图19，对表3的可视化图

从表3和图19可以清晰地看到，当将更丰富的纹理信息（如GLCM矩阵、LBP矩阵、小波和分形维数）作为输入提供给模型时，分类准确率得到了显著提升。

这表明模型确实从纹理特征中学习到了有价值的信息，验证了监督预训练与多个转换后的特征矩阵相结合能够共同提高精度的结论。

当然，也存在一些例外情况。例如，在某些条件下，原始输入与GLCM结合后，准确率反而会出现小幅下降（图19）。

总体而言，本文详细解析了纹理特征的主要类型及其分析方法，并展示了通过提供更多信息数据（以纹理特征的形式）来提升CNN模型性能的可行路径。这一思路值得在后续工作中进一步深入探索。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：纹理分析结合深度学习提升分类效果研究要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题