人工智能技术如何突破机器学习先验假设

以深度学习为代表的人工智能技术，已经成功跨越了从“不可用”到“可用”的关键转折点。然而，从“可用”迈向“好用”，仍有漫长的发展之路。人工智能最核心的技术本质上是机器学习，即从给定的数据集中总结规律或构建表征。这一过程可以抽象为图1所示的公式。

该模型清晰地阐述了机器学习解决问题的基本流程：首先选定一个范围足够大的假设空间——该空间应包含待寻找的数据规律或表示函数；然后指定一个损失度量，在此度量标准下，从假设空间中找到使数据集上平均损失最小的函数。这一最小化平均损失的目标被称为“数据拟合项”，对应的求解方法称为“经验风险极小化”。然而，仅依赖数据拟合寻找解往往不可靠（数学上称为“不适定”），因此需要添加额外约束，这些新增的约束即为“正则项”。将数据拟合项与正则项相加并最小化，就是所谓的“正则化方法”，它构成了机器学习最基础的模型框架。

机器学习中的先验假设

在使用机器学习时，我们总是自觉或不自觉地引入若干假设，例如：

损失度量的独立性假设。我们习惯采用最小二乘或交叉熵等固定度量作为损失函数，很少思考该度量选择与具体问题之间的关联，更难以根据问题自适应地寻找最优损失度量。

假设空间的大容量假设。我们通常假定所选机器架构（例如一个20层的深度学习网络）已包含期望的解，或者说数据中隐藏的规律就在这个空间内。该假设是机器学习成功的先决条件，且我们往往自信于架构选择的正确性。

训练数据的完备性假设。使用机器学习时，总希望训练数据足够充分、优质且来源可靠。这一假定常常成为选择机器学习方法的前提与依据。

正则子的先验决定论假设。为了让机器学习产生的决策函数具备期望的性质，需要加入正则约束。例如常用L2正则确保光滑性、L1正则保证稀疏性、TV正则保持图像边缘的稀疏性。普遍认为正则项的形式由先验知识决定，可在使用机器学习前事先确定。但该假设的本质是：我们自以为能够抽象出问题的先验知识，并正确建模为“正则子”。

分析框架的欧氏假设。训练深度网络时，我们自然选择BP算法或ADAM等优化方法，因为这些算法经过了严格的收敛性、稳定性与复杂性理论评判，且通常在能使用二范数、正交性的欧氏框架下进行。该假设本质上限制了可用的算法与机器架构（包括损失函数、正则项等），在此框架下无法处理或不敢采用更复杂的非欧氏空间算法与机器学习结构。

可以说，这五大假设在很大程度上决定了机器学习的性能上限。

如何突破机器学习的先验假设

针对这些假设，已有大量研究工作尝试突破。以下是本团队近年来的几项代表性成果。

突破分析框架的欧氏假设

欧氏空间广泛应用的根本原因在于，可在欧氏架构下使用简洁公式（如(a+b)² = a² + b² + 2ab），使算法性能（如收敛性）与目标函数的凸性相关联。要突破凸性假设，核心就是要突破欧氏假设。本团队1989年与1991年的工作开创了利用非欧氏架构工具研究非欧氏算法的可能性，这些工具近年来得到广泛采纳。研究表明，突破欧氏假设的途径在于应用巴拿赫空间几何学。

突破损失独立性假设

损失函数具有双重功能：一是衡量所选函数对给定数据的拟合程度，二是评估函数表示的精度。无论在监督学习还是无监督学习中，其形式可能不同，但本质上应与具体问题相关。如果将问题的标签与特征用式(1)描述的观测模型理解——

y = fθ(x) + e     (1)

——即标签由固定规律叠加噪声得到，噪声来自数据采集环境。从概率角度看，标签出现的最佳概率完全由误差环境决定。这揭示了一个重要启示：机器学习的最优度量应由误差决定。实验表明，若误差为白噪声，最优恢复度量确实是最小二乘；若噪声类型不同，最优恢复度量则不再是简单的最小二乘。

给定具体的误差分布形式，可确定唯一的最优恢复度量，这一方法称为误差建模原理。对于任何机器学习问题，只需研究其误差形式，即可得到某种意义上的最优损失度量，在此度量下找到的经验函数才是最佳的。本团队已成功应用误差建模原理开发出微剂量CT，将CT辐射剂量降至微剂量水平。

当然，很多时候我们并不清楚问题的误差环境。此时可采用高斯混合进行逼近。任何分式函数都能用多个高斯分布函数之和逼近，我们证明了不同高斯混合会导致不同加权的“加权最小二乘”最优度量。这一结论实用性很强——在未知误差真实形式时，加权最小二乘是相当可靠的选择。

突破假设空间的大容量假设

如何设计机器架构以确保待求解包含在假设空间内？我们提出了一种基础方法：先构建一个包含大量超参数的粗糙模型（称为模型族）来刻画问题解的范围；然后求解该模型族，得到解决问题的“算法族”；再将算法族自适应展开成一个深度网络架构——其参数包含模型族与算法族的所有参数，且允许每一步迭代不同；最后用数据训练该网络，生成问题的解。这一通用方法被称为模型驱动的深度学习。

模型驱动的深度学习表面上是解决深度学习架构设计问题，实质是在深度学习过程中逐步构建包含解的最小假设空间，从而突破“假设空间的大容量”假设。与传统数学建模要求精确建模不同，它仅需刻画问题解的整体范围；与传统深度学习缺乏物理机制不同，它兼具明确的物理解释与严密的数学基础。这样，深度学习架构设计难题得以规避，机器学习架构可在理论指导下、在可解释的框架下进行设计，如图2所示。

本团队于2018年在《国家科学评论》(NSR)上正式提出该方法，并据此设计了广为人知的ADMM CS-Net深度学习架构。该架构是实现压缩感知的通用深度学习模型，已被广泛采用，被视为开创性、奠基性的网络。其重要意义在于，它在最优化理论与深度学习网络设计之间架起了桥梁——尤其是，相比传统压缩感知模型与正则化方法，它能更有效地处理稀疏性问题。

突破正则子先验决定论假设

突破正则先验假设极为困难——因为无论选择何种正则项，难以保证其真正反映先验。经分析，问题症结在于“正则化方法是在知识层面建模先验”。摆脱困境的出路是从数据中直接学习先验。为此，我们提出了“隐正则化理论”。我们证明：在一定条件下，正则化问题的解可等价于一个含近点投影算子的不动点方程，从而能自然迭代求解并展开成模型驱动的深度学习网络，且近点投影算子与正则项能唯一相互决定。因此，不设置显式正则项，改用数据学习近点投影算子，亦能起到与正则化方法相同的效果。重要区别在于：显式正则项利用先验知识，而隐正则化从数据中抽取知识并融入学习过程——这在原理上具有重大意义。

突破数据完备性假设

数据的完备性与高质量是保障机器学习效果的关键。课程学习的思想可将学习过程类比人类教育，采用“先易后难”的分步处理方式应对不完备数据——如同小学生先学简单内容，再挑战更难知识。过去十余年，本团队完整建立了“课程自步学习”的理论与算法体系，将类课程学习标准化为处理不完备数据的高效机器学习方法。

总体而言，过去多年的工作核心是发展科学原理，在这些原理指导下突破机器学习的先验假设。总结如下：应用巴拿赫几何工具突破分析的欧氏假设，利用误差建模原理突破损失的独立性假设，借助模型驱动的深度学习突破假设空间的大容量假设，采用隐正则化方法突破正则先验假设，通过课程自步学习突破数据的完备性假设——详见图3。这些方法在实践中均被证明卓有成效。

机器学习需要迈向自动化

当前机器学习的发展仍主要处于“人工”阶段。在数据层面，需要人工收集、标注数据，并人工决定训练集与测试集划分；在模型与算法层面，多数情况下仅从已知模型和算法中被动选择架构；在应用层面，仍是一个任务对应一个模型，无法实现任务自切换与环境自适应。从“人工化”迈向“自主化”，必须跨越一道重要关口——机器学习自动化，该过程如图4所示。

我们认为，机器学习自动化首先需实现六个方面的自动化。

一是数据自动化：实现数据的自生成与自选择。即根据目标任务需求或少量元数据（标准、高质量数据）引导，自动生成训练数据，并从海量非高质量数据中自动筛选可供学习的样本。

二是架构/算法自动化：实现网络架构自构建与训练算法自设计。能够根据目标任务自动解析所需“功能块”，并以最优方式（尽可能简约甚至极简）组装成深度网络架构。

三是应用/更新自动化：实现损失度量随问题（数据）自适应设定，正则项自适应设定，网络训练算法自适应构建与选择，以及任务自切换与环境自适应。最终目标是实现一个架构完成多项任务、自动切换的机器学习，具备持续学习、自主进化、自适应完成新任务的能力。

我们将能够实现上述六个自动化目标的机器学习称为“自动化机器学习”。显然，当前我们仍处于机器学习的人工化阶段，但正朝着自动化与自主化迈进。应当高度认识实现机器学习自动化的重大意义与价值——它既是通往自主智能的必经之路，也是推动人工智能发展与应用的现实需求。

如何实现机器学习自动化：SLeM框架

如何达成机器学习自动化？表面上看，它涉及机器学习各要素——假设空间、损失函数、正则项、学习算法等——的设计问题，但本质上是学习方法论的学习问题。本文提出一个模拟学习方法论（Simulate Learning Methodology，SLeM）的框架，如图5所示，并探讨如何通过SLeM实现机器学习自动化。

学习方法论是指导、管理学习者如何学习的一般原则与方法学。要建立SLeM框架，首先需严格从数学上定义学习任务、学习方法、学习方法论等概念。

学习任务

学习的目的是对可观测的现实世界规律进行总结与刻画。现实世界规律可用一个随机变量描述，或等价地由分布函数（密度函数）表征。同一随机变量在不同时空的抽样，表现为反映同一规律的数据（即通常机器学习的研究对象）。从数据中学习可表现为分类、回归、降维、隐变量识别等具体任务，但本质上是学习数据背后的分布——一旦知道分布，所有具体任务均可通过分布函数表达。因此，学习任务适合定义为统计上的“密度估计问题”，即根据给定数据确定数据背后的随机变量分布（密度函数）。学习的本质是对可观测的现实世界规律进行总结与刻画。

学习方法

基于前文对机器学习要素的分析，只要指定一组特定的“数据产生方法、假设空间/机器架构、损失度量、优化算法”，就相当于定义了一个学习方法。因此，一个学习方法是对学习空间的一组指定K = (D, f, L, A)，其中D是数据生成方法，f是机器架构，L是损失度量，A是可用于训练的优化算法。这里的学习空间K自然定义为分布函数空间、假设空间、损失函数空间、优化算法空间的乘积，如图6所示。

学习空间K显然是无穷维的。但若假设K的每个因子空间都存在可数基底——实际应用中，该条件自然满足，例如不同均值与方差的高斯分布即构成分布函数空间的可数基底——那么学习空间K可序列化（同构于序列空间），对应地用4个无穷序列描述。这一过程称为学习空间的超参数化。这样一来，学习方法可表示为4个无穷序列，进一步可将无穷维序列有限维截断，近似表示为4个有限序列。参数化后，一个学习方法即可被描述为4个有限参数序列。

学习方法论

有了上述准备，学习方法论可定义为：从任务空间到学习空间的一个映照（记为LM）。更具体地说，给定任务T，LM(T)是在学习空间中的一个取值，由4元组描述，对应数据产生方法、假设空间/机器架构、损失度量与优化算法的参数化表示。这就是学习方法论。学习方法论本质上是函数空间上的一个映射，是参数的赋值规则。显然，SLeM是函数空间上的函数逼近问题。

融合SLeM的问题求解过程如图7所示。

与传统机器学习过程（给定数据、机器架构，选择优化算法求解得到决策函数）不同，基于SLeM求解问题是在传统机器学习之前增加一步方法论学习，然后根据方法论学习机设计的方法执行机器学习任务。它从任务出发，先产生方法，再执行任务，是一个典型的两阶段任务求解过程。

基于元数据的SLeM计算模型

SLeM可描述为函数空间上的一个标准机器学习问题——但该模型仅有理论意义。若引入一些假设，便可将其转化为计算机可操作的模型。例如，假设学习方法论的好坏可通过一组元数据来评判——类似于通过学生考试成绩度量老师教学表现，元数据可类比为检验学生成绩的标准考题——那么SLeM模型就变成了可操作的两阶段优化模型，便于计算机处理。进一步，若将度量方法论优劣的元数据替换为元知识（即基于规则评判方法论），则可得到另一种类型的双层优化SLeM模型，即基于元知识的SLeM模型。总之，对方法论采取不同评价标准，即可得到不同的SLeM计算模型。

SLeM框架与其他框架的比较

基于SLeM的一般问题求解，从任务出发，根据任务产生方法，再完成任务。整个求解过程分为“方法学习”与“任务学习”两个阶段。这与当前机器学习明显不同——两者泛化目标、输入、结构、模型均存在差异。SLeM框架与元学习也有显著区别：元学习包含诸多演化过程，但总体是启发式的，缺乏明确的数学模型。

SLeM应用举例

迁移学习理论

首先，利用SLeM理论解决迁移学习的度量问题。人工智能的目标之一是实现迁移学习，但当前迁移学习缺乏坚实的理论支撑。利用SLeM理论可证明：从完成某些任务中学到的知识能否迁移，取决于三个基本要素。第一，过去是否见过该任务——即任务相关性；第二，任务机与学习机的空间复杂性；第三，用于度量方法论的元数据与训练数据的一致性。这三要素的发现表明，迁移学习理论构建是可能的。

机器学习自动化

接下来展示如何利用SLeM理论解决机器学习自动化问题。

首先是数据自动化：通过为每个数据赋权的方法进行参数化，利用SLeM模型从大量数据中自动选择适用于网络训练的数据（即数据自选择）。我们提出了一种名为Class-aware Meta-Weight-Net的方法论学习机。应用结果充分说明，基于SLeM选择后的数据学习效果远优于不选择、人工选择或随机选择数据集的效果，且对非均衡、高噪音数据集同样适用。该方法在2022年粤港澳大湾区算法大赛中夺得冠军。SLeM还被用于标签自矫正——对标记错误的数据自动校正，从而解决半监督学习中的标签校正问题。

在网络自动化方面，我们尝试在深度学习中自动嵌入变换问题，取得了良好效果。利用SLeM理论还可进行度量自动化学习，即自适应设定与任务相关的损失度量。我们提出了Meta Loss Adjuster方法论学习网络，表现优异。最后，将SLeM用于算法自动化，特别是自动设置BP算法的学习率。为此，我们设计了名为Meta-LR-Schedule-Net的方法论网络。测试表明，耦合Meta-LR-Schedule-Net的深度学习平均可提升泛化性能约4%。

总之，通过构建SLeM方法机，可以学习具有明确物理意义的超参赋值方法，从而面向不同任务实现机器学习自动化。

总结与展望

当前人工智能应用仍以“带先验假设的机器学习”与人工化为特征。下一步发展必然以“实现机器学习自动化”为追求——这是机器学习发展的根本问题。实现机器学习自动化，要求对数据、网络、损失、算法、任务等要素进行设计与调控。要达成该目标，需实现“任务到方法的映射”，即学习方法论的学习（SLeM）。现有研究与方法尚不支持这一目标的实现。

本团队提出了SLeM的数学框架、严格定义、数学模型与一般算法，展示了如何用SLeM方法解决机器学习自动化问题。SLeM为机器学习自动化研究提供了形式化、模型化、科学化的研究框架与路径。已有应用表明，SLeM是一个强大且有效的工具。应用SLeM的关键在于学习空间的超参数化方案与方法学习机的设计。此外，元数据集的选择是决定SLeM效果的关键要素。SLeM正在快速发展中，我们期待其持续深化、拓广与工具化。

（本文根据CNCC2022特邀报告整理而成）

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人工智能技术如何突破机器学习先验假设要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题