MATLAB无监督学习算法实战教程

在机器学习领域，无监督学习是一种无需依赖人工标注标签，仅从原始数据中自主发现内在结构与规律的核心方法。它直接处理未经标记的原始数据集，目标是从中自动挖掘出隐藏的模式、分组与关联，整个过程不需要任何关于输出结果的先验知识指导。

无监督学习的工作原理

无监督学习是如何实现自主探索的呢？其核心机制在于算法能够主动识别数据中潜在的结构与分布。典型流程包括数据预处理、算法模型选择、模式挖掘与结果解释评估。它在两大核心任务上表现卓越：一是聚类分析，即将相似的数据样本自动归类成组；二是降维处理，旨在减少数据特征数量同时保留关键信息，以提升计算效率与可解释性。

值得注意的是，无监督学习常作为有监督学习的预处理步骤。在构建预测模型前，通过它进行数据探索、特征发现或潜在类别定义，这构成了特征工程与数据理解的重要环节。

无监督学习算法将未标注数据自动组织成不同的群组。

无监督学习方法的类型

无监督学习主要包含几种关键方法，每种方法针对不同类型的数据挖掘问题。

1. 聚类

聚类是无监督学习中最常用且直观的技术之一。其目标是发现数据中自然存在的群组或结构，广泛应用于客户细分、图像分析、异常检测等场景。

例如，一家电信公司希望优化基站布局。由于手机在同一时刻只能连接一个基站，团队可以利用聚类算法，根据用户地理位置数据形成“客户聚集区”，从而设计出覆盖效率最高的基站分布方案。

通过聚类技术揭示数据中隐藏的分布模式。

聚类主要分为两类：硬聚类（每个数据点仅属于一个簇，如K均值算法）和软聚类（数据点可以按概率属于多个簇，如高斯混合模型）。

常用的聚类算法包括：

• 层次聚类：构建树状结构的聚类层次。
• K均值聚类：根据数据点到簇中心的距离，将其划分到K个簇中。
• 高斯混合模型(GMM)：假设数据由多个高斯分布混合生成。
• DBSCAN：基于密度的聚类方法，能有效识别噪声与任意形状的簇。
• 自组织映射(SOM)：通过神经网络学习数据的拓扑结构。
• 谱聚类：先将数据转化为图结构，再进行分割，擅长发现复杂形状的簇。

左图：三种鸢尾花花瓣尺寸的原始散点分布。右图：使用高斯混合模型聚类后的结果展示。

2. 降维

当数据特征维度极高时，会面临“维度灾难”：计算复杂度高、难以可视化、且存在信息冗余。降维技术旨在用更少的特征捕捉数据的主要信息，从而简化后续分析。

例如，智能手机加速度计采集的人类活动数据可能包含60个维度，直接分析非常困难。利用t-SNE等降维方法，可将其压缩至2维或3维空间，从而清晰可视化出“坐、站、行走、奔跑”等不同活动模式的分布情况。

主流的降维方法有：

• 主成分分析(PCA)：寻找数据方差最大的方向（主成分），用少数几个不相关成分概括原始数据。
• t-SNE：特别适用于高维数据的可视化，能保持数据点间的局部相似关系。
• 因子分析：假设观测变量由少数潜在公共因子决定，用于探索变量间的内在关联。
• 自编码器：一种通过编码-解码过程学习数据压缩表示的神经网络，常用于图像去噪与异常检测。

利用自编码器进行基于图像数据的异常检测。

3. 关联规则

“啤酒与尿布”的经典案例揭示了关联规则挖掘的价值。它致力于从大规模数据中发现变量之间的频繁关联模式，最典型的应用是购物篮分析，用于识别“经常被一同购买的商品组合”。

常用算法包括Apriori和ECLAT。除了零售行业，关联规则在工业领域也应用广泛，例如通过分析设备传感器数据序列来发现故障前兆，实现预测性维护。

此外，半监督学习（结合少量标注与大量未标注数据）与无监督特征选择（在没有标签的情况下评估特征重要性）也是重要的延伸方向。

为什么无监督学习如此重要

在现实应用中，获取大量精准标注数据往往成本高昂、周期漫长，甚至不可行（如某些医疗或生物数据）。无监督学习的核心优势在于能直接从原始、未标注的“数据矿藏”中提炼知识。通过自动发现隐藏的模式、结构与关联，它为商业决策与科学研究提供了全新的洞察视角，成为探索性数据分析、市场细分、异常检测等任务的基础工具。

有监督学习与无监督学习的区别

理解两者差异对选择合适方法至关重要：

• 有监督学习类似于“有参考答案的学习”。它使用带标签的数据集（包含输入特征与对应输出标签）训练模型，目标是学习从输入到输出的映射关系，用于分类或回归预测。例如，根据房屋特征预测其市场价格。
• 无监督学习则是“自主探索规律的学习”。它处理没有标签的数据，目标是从数据内部发现潜在结构，例如将一堆未标记的水果按颜色、形状自动分组，而无需预先知道每种水果的名称。

通常，由于缺乏明确的监督信号（标签），无监督学习结果的绝对准确性可能不及有监督学习。但其突出优势在于能处理海量无标签数据，并发现人类未曾预设的潜在模式。

有监督学习与无监督学习的对比示意图。

无监督学习的应用示例

无监督学习技术已广泛应用于多个行业：

• 探索性数据分析：在金融领域，可使用因子分析研究股票价格的联动模式。
• 异常检测：在网络安全或工业质检中，通过孤立森林等算法识别异常行为或缺陷产品。
• 医学影像分析：聚类算法可用于MRI图像分割，辅助区分健康组织与病变区域。
• 基因组学：对基因表达数据进行聚类，以发现功能相关的基因群组。
• 推荐系统：奇异值分解等矩阵分解技术，是许多流媒体平台实现协同过滤推荐的核心。
• 自然语言处理：用于主题建模、文档聚类，帮助组织和管理海量文本数据。

随着数据量的持续爆炸式增长，无监督学习作为理解和利用这些“暗数据”的关键技术，其重要性将日益凸显。

使用MATLAB进行无监督学习

对于实践者，MATLAB提供了一套完整的工具链来构建无监督学习流程，涵盖从数据准备到模型部署的全过程。

其生态系统支持主流算法：通过Statistics and Machine Learning Toolbox实现聚类与降维；利用Deep Learning Toolbox构建自编码器；借助MATLAB Coder将模型部署到嵌入式设备。

MATLAB中的无监督学习完整工作流。

数据准备与算法应用：既可通过编程实现精细控制，也能使用交互式的实时编辑器任务（如数据清洗器、聚类分析任务）快速完成预处理与模型构建。

使用交互式任务进行K均值聚类分析。

降维实践：PCA、t-SNE等方法均有内置函数支持，降维实时编辑器任务让交互式探索变得直观，例如快速确定需要保留多少主成分才能解释95%的数据方差。

使用实时编辑器任务进行降维分析与可视化。

结果评估与可视化：这是理解模型效果的关键步骤。散点图、树状图、轮廓图常用于评估聚类质量；碎石图、双标图则用于分析降维结果。evalclusters等函数能帮助定量评估聚类效果，确定最佳簇数。

使用t-SNE将60维的人类活动数据降至2维并进行可视化展示。