机器学习算法分类与范围系统性全面解析

什么是机器学习？

要理解机器学习，首先需要明确它的核心定义。机器学习，英文全称为Machine Learning，常简称为ML，这个术语虽然听起来有些高深，但它本质上是一门融合了概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科的交叉研究领域。它专注于研究的内容是：如何让计算机模拟甚至实现人类的学习行为——也就是说，计算机能够自主获取新知识、掌握新技能，或者重新整合已有的知识结构，从而不断优化自身的性能表现。

更通俗地讲，机器学习是人工智能的核心组成部分，也是让计算机真正具备智能的根本途径。它主要依靠归纳与综合来解决问题，而非传统计算机那种“你给出指令，它机械执行”的演绎方式。传统计算机的工作模式是：你输入一串命令，它按顺序逐步执行。但机器学习完全不走这条老路——它并不直接处理你输入的指令，而是只接受你提供的数据！从某种意义上来说，它已经开始具备类似人类处理事务的能力了。

机器学习发展史

机器学习作为人工智能研究领域中一个相对年轻的分支，其发展历程大致可以划分为四个阶段。第一阶段是20世纪50年代中期到60年代中期，属于热情高涨的“热烈时期”。那时学界对机器学习的潜力充满期待与憧憬。第二阶段是60年代中期到70年代中期，由于遇到了不少技术瓶颈，研究进入了“冷静时期”。第三阶段是70年代中期到80年代中期，随着关键技术取得突破，迎来了“复兴时期”。而最新阶段，则从1986年开始一直延续至今。这一新阶段呈现出几个显著的特征：

（1）机器学习开始成为一门独立的边缘学科，并在高校中正式开设课程。它综合运用了心理学、生物学、神经生理学，以及数学、自动化和计算机科学，逐步构建起自己的理论体系。

（2）各种学习方法开始“协同作战”——多种形式的集成学习系统正在蓬勃发展。尤其是连接学习与符号学习的融合，能够更好地应对连续性信号处理中知识与技能的获取与优化问题，因此受到了广泛关注。

（3）机器学习与人工智能各项基础问题的统一性观点正在逐步成型。例如，学习与问题求解相结合、知识表达便于学习的思路，催生了通用智能系统SOAR中的组块学习。而类比学习与问题求解相结合形成的“基于案例”方法，也成为经验学习的重要方向。

（4）各种学习方法的应用范围持续扩展，部分成果已经成功实现商品化。归纳学习的知识获取工具在诊断分类型专家系统中被广泛采用；连接学习在语音、图像、文字识别领域占据优势；分析学习已用于设计综合型专家系统；遗传算法与强化学习在工程控制中展现出良好的应用前景；而与符号系统耦合的神经网络连接学习，将在企业智能管理与智能机器人运动规划中发挥关键作用。

（5）学术活动空前活跃。国际上除了每年举办的机器学习研讨会，还有计算机学习理论会议以及遗传算法会议，研究热度始终不减。

机器学习的范围

机器学习与模式识别、统计学习、数据挖掘、计算机视觉、语音识别、自然语言处理等领域都有着紧密的联系，而且关系颇为深入。从范围上看，机器学习与模式识别、统计学习、数据挖掘基本上处于同一层面；同时，机器学习与其他领域技术相互结合，又催生了计算机视觉、语音识别、自然语言处理这些交叉学科。因此，很多时候我们说“数据挖掘”，几乎可以等同于说“机器学习”。而且我们日常所提及的机器学习应用，是通用的——不仅限于结构化数据，图像、音频等非结构化数据也都在它的处理范围之内。

模式识别

模式识别 ≈ 机器学习。两者之间的主要区别在于起源：模式识别是从工业界发展起来的概念，而机器学习主要源自计算机学科。在经典著作《Pattern Recognition And Machine Learning》中，Christopher M. Bishop一开篇就明确指出：“模式识别源自工业界，机器学习来自于计算机学科。不过，两者的活动可视为同一领域的两个侧面，过去10年间它们都取得了长足的进步。”

数据挖掘

数据挖掘 ≈ 机器学习 + 数据库。记得大学最后一学期开设了一门数据挖掘课程，课上所讲的“数据挖掘”就是从海量数据中提取出有价值的信息——其实从某种意义上来说，这与当下的大数据分析非常相似。数据挖掘通常与计算机科学密切相关，通过统计学、在线分析处理、情报检索、机器学习、专家系统（依托过去的经验法则）和模式识别等多种方法来实现目标。

统计学习

统计学习 ≈ 机器学习。两者高度重叠，因为机器学习中的绝大多数方法都源自统计学。甚至可以这样说：统计学的发展直接推动了机器学习的繁荣。例如著名的支持向量机算法，就来自统计学科。不过两者之间仍存在细微差别：统计学习者更关注统计模型的发展与优化，偏重数学理论；而机器学习者更关心能否解决实际问题，偏重实践应用。因此，机器学习研究者会重点研究学习算法在计算机上的执行效率与准确性提升。

计算机视觉

计算机视觉 ≈ 图像处理 + 机器学习。图像处理技术负责将图像处理成适合机器学习模型输入的格式，机器学习则负责从图像中识别出相关的模式特征。随着深度学习等新领域的不断推进，计算机图像识别的效果得到了大幅提升——未来计算机视觉的发展前景不可限量。

语音识别

语音识别 ≈ 语音处理 + 机器学习。简单来说，就是音频处理技术与机器学习的有机结合。语音识别技术通常不会单独使用，一般会与自然语言处理技术搭配协作。目前相关的典型应用有苹果的语音助手Siri，以及讯飞等国内众多科技公司和机构推出的产品。

自然语言处理

自然语言处理 ≈ 文本处理 + 机器学习。这项技术主要用于让计算机理解人类语言。在自然语言处理中，大量运用了编译原理相关的技术（如词法分析、语法分析），而在“理解”这一层面，则依靠语义理解、机器学习等技术来支撑实现。

机器学习算法

监督式学习

监督式学习算法包含一个目标变量（因变量）和用于预测目标变量的预测变量（自变量）。通过这两类变量可以构建一个模型，这样对于已知的预测变量值，就能得到对应的目标变量值。重复训练这个模型，直到它在训练数据集上达到预设的准确度。属于监督式学习的算法包括：回归模型、决策树、随机森林、K邻近算法、逻辑回归等。

无监督式学习

与监督式学习不同，无监督学习中不存在需要预测或估计的目标变量。无监督式学习主要用于对总体对象进行分群——它在根据某一指标对客户进行分类等场景中应用广泛。属于无监督式学习的算法包括：关联规则、K-means聚类算法等。

强化学习

强化学习可以训练程序做出某种决策。程序在某个情境下尝试所有可能的行动，记录不同行动所产生的结果，然后找出最优的一次尝试来做出最终决定。属于这一类算法的有马尔可夫决策过程。

常见算法

下面这10种是最常用的机器学习算法，大部分数据问题都可以借助它们来解决：1. 线性回归（Linear Regression） 2. 逻辑回归（Logistic Regression） 3. 决策树（Decision Tree） 4. 支持向量机（SVM） 5. 朴素贝叶斯（Naive Bayes） 6. K邻近算法（KNN） 7. K-均值算法（K-means） 8. 随机森林（Random Forest） 9. 降维算法（Dimensionality Reduction Algorithms） 10. Gradient Boost和Adaboost算法

机器学习分类

基于学习策略的分类

学习策略指的是学习过程中系统所采用的推理策略。一个学习系统总是由学习和环境两部分组成：环境（如书本或教师）提供信息，学习部分则负责信息转换，用自己能理解的形式记录下来，并从中提取有用信息。学习过程中学生（学习部分）所使用的推理越少，对教师（环境）的依赖就越大，教师的负担也越重。按照学生实现信息转换所需的推理多少和难易程度，从简单到复杂、从少到多，可以划分为以下六种基本类型：

1）机械学习（Rote learning）
学习者不需要任何推理或其他知识转换，直接吸收环境提供的信息。例如塞缪尔的跳棋程序、纽厄尔和西蒙的LT系统。这类学习系统主要考虑如何索引存储知识并加以利用，直接通过事先编好的程序来学习，对输入信息不做任何推理。

2）示教学习（Learning from instruction 或 Learning by being told）
学生从环境（教师或教科书等）获取信息，把知识转换成内部可用的表示形式，并将新知识和原有知识进行有机整合。这要求学生具备一定的推理能力，但环境仍需要做大量工作。教师以某种形式提出并组织知识，让学生能够不断积累知识。这种学习方式与学校教学相似，任务是建立一个能够接受教导和建议、有效存储和运用所学知识的系统。不少专家系统在构建知识库时就采用了这种方法。示教学习的典型应用案例是FOO程序。

3）演绎学习（Learning by deduction）
学生所使用的推理形式是演绎推理。从公理出发，经过逻辑变换推导出结论。这种推理是“保真”变换和特化的过程，学生在推理过程中可以获取有用知识。包括宏操作学习、知识编辑和组块（Chunking）技术。演绎推理的逆过程就是归纳推理。

4）类比学习（Learning by analogy）
利用两个不同领域（源域、目标域）中的知识相似性，通过类比从源域的知识推导出目标域的相应知识，从而实现学习。类比学习系统能够让已有的计算机应用系统适应新领域，完成原先没有设计的类似功能。类比学习需要比前三种方式更多的推理，一般先从知识源中检索可用知识，再转换成新形式应用到新场景中。人类科学史上很多重大发现就是通过类比得到的，例如著名的卢瑟福类比——他把原子结构（目标域）和太阳系（源域）进行类比，从而揭示了原子结构的奥秘。

5）基于解释的学习（Explanation-based learning, EBL）
学生根据教师提供的目标概念、该概念的一个实例、领域理论及可操作准则，先构造一个解释来说明为什么这个实例满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。EBL广泛应用于知识库求精和系统性能改善。著名的EBL系统有迪乔恩（G. DeJong）的GENESIS、米切尔（T. Mitchell）的LEXII和LEAP，以及明顿（S. Minton）等的PRODIGY。

6）归纳学习（Learning from induction）
由教师或环境提供某概念的一些实例或反例，让学生通过归纳推理得出该概念的一般性描述。这种学习的推理工作量远多于示教学习和演绎学习，因为环境不提供一般性概念描述（如公理）。从某种程度上说，归纳学习的推理量也比类比学习更大，因为没有一个现成的类似概念可以作为“源概念”来借用。归纳学习是最基本、发展也最成熟的学习方法，在人工智能领域已有广泛的研究和应用。

基于所获取知识的表示形式分类

学习系统获取的知识可能包括：行为规则、物理对象描述、问题求解策略、各种分类以及其他用于任务实现的知识类型。常见的知识表示形式有以下几种：

1）代数表达式参数：学习目标是调节一个固定函数形式的代数表达式参数或系数，以达到理想的性能。
2）决策树：用决策树来划分物体的类属，树中每个内部节点对应一个物体属性，每条边对应属性的可选值，叶节点对应物体的基本分类。
3）形式文法：在识别特定语言的学习中，通过对该语言一系列表达式进行归纳，形成该语言的形式文法。
4）产生式规则：表示为“条件—动作”对，应用极为广泛。学习系统中的学习行为主要是生成、泛化、特化或合成产生式规则。
5）形式逻辑表达式：基本成分包括命题、谓词、变量、约束变量范围的语句及嵌入的逻辑表达式。
6）图和网络：有些系统采用图匹配和图转换方案来有效比较和索引知识。
7）框架和模式（Schema）：每个框架包含一组槽，用于描述事物（概念和个体）的各个方面。
8）计算机程序和其它过程编码：获取这种形式的知识，目的是获得实现特定过程的能力，而不是推断该过程的内部结构。
9）神经网络：主要用于连接学习，学习所获取的知识最终归纳为一个神经网络。
10）多种表示形式的组合：根据表示的精细程度，可分为两大类——泛化程度高的粗粒度符号表示（如决策树、形式文法、产生式规则、形式逻辑表达式、框架和模式等），以及泛化程度低的精粒度亚符号表示（如代数表达式参数、图和网络、神经网络等）。

按应用领域分类

机器学习最主要的应用领域包括：专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图像识别、故障诊断、自然语言理解、机器人和博弈等。从执行部分所反映的任务类型来看，大部分应用研究主要集中在以下两个范畴：分类和问题求解。
（1）分类任务：要求系统依据已有的分类知识，对输入的模式（该模式的描述）进行分析，以确定其类属。相应的学习目标就是学习分类准则（如分类规则）。
（2）问题求解任务：要求对于给定的目标状态，寻找一个将当前状态转换为目标状态的动作序列。机器学习在这一领域的研究，大部分集中于通过学习获取能够提高问题求解效率的知识（如搜索控制知识、启发式知识等）。

综合分类

1）经验性归纳学习（Empirical Inductive Learning）
采用数据密集的经验方法（如版本空间法、ID3法、定律发现方法）对实例进行归纳学习。实例和学习结果通常用属性、谓词、关系等符号表示。它相当于前面基于学习策略分类中的归纳学习，但排除了连接学习、遗传算法和强化学习的部分。

2）分析学习（Analytical Learning）
从一个或少数几个实例出发，运用领域知识进行分析。主要特征：推理策略主要是演绎而非归纳；使用过去的问题求解经验（实例）来指导新问题的求解，或产生能够更有效运用领域知识的搜索控制规则。分析学习的目标是改善系统性能，而不是获得新的概念描述。分析学习包括应用解释学习、演绎学习、多级结构组块以及宏操作学习等技术。

3）类比学习
相当于基于学习策略分类中的类比学习。在这类学习中，比较引人注目的研究方向是通过与过去经历的具体事例进行类比来学习，称为基于范例的学习（Case-based Learning），或简称范例学习。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：机器学习算法分类与范围系统性全面解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题