人工智能领域梯度学习方法研究进展综述

在人工智能领域，反向传播一直是训练深度神经网络的核心技术。然而，被誉为“反向传播之父”的图灵奖得主 Geoffrey Hinton 近年来多次公开表达对反向传播的质疑，并致力于探索更符合生物机制、更高效的替代方案。近期，他与合作者提出的一系列创新方法，让 前向梯度学习 在标准深度学习基准任务上变得可行且实用，相关研究成果已被 ICLR 2023 接收。

一、背景：反向传播的局限与Hinton的反思

反向传播（Backpropagation，BP） 是一种与最优化方法（如梯度下降）结合使用、用于训练人工神经网络的常用方法。该方法计算网络中所有权重相对于损失函数的梯度，并将该梯度反馈给最优化算法，从而更新权重以最小化损失函数。

简言之，BP 的核心思想其实就是负反馈：通过这种方式，神经网络系统能够针对给定目标实现自动迭代与校准。随着算力、数据量以及各项技术的不断进步，使用反向传播训练的多层神经网络在部分任务上已能与人类表现相抗衡。

许多人将这项技术的发现归功于深度学习先驱、2019 年图灵奖得主 Geoffrey Hinton。但 Hinton 本人表示，自己的真正贡献在于明确提出了反向传播可以学习有趣的内部表征，并推动这一理念广泛传播：「我通过让神经网络学习词向量表征，使其根据先前词的向量表征预测序列中的下一个词，从而实现了这一点。」

其例证来自 Nature 1986 年发表的论文《Learning representations by back-propagating errors》。

无论如何，反向传播技术极大地推动了现代深度学习的发展。然而，曾被冠以「反向传播之父」的 Geoffrey Hinton，近年来却频繁表示正在构思下一代神经网络，他对反向传播「非常怀疑」，并主张「应该抛弃它并重新开始」。

可以说自 2017 年起，Hinton 就已着手寻找新的方向。机器之心此前曾介绍 Hinton 在前向 - 前向网络方面的思考（近万人围观 Hinton 最新演讲：前向 - 前向神经网络训练算法，论文已公开）。

二、前向梯度学习的新突破

2.1 活动扰动：降低梯度估计的方差

前向梯度学习 通常用于计算含噪声的方向梯度，是一种符合生物学机制、可替代反向传播的深度神经网络学习方法。然而，当待学习的参数量很大时，标准的前向梯度算法会产生较大的方差。

Hinton 等研究者重新审视了权重扰动的替代方法 —— 活动扰动（activity perturbation）（Le Cun et al., 1988; Widrow & Lehr, 1990; Fiete & Seung, 2006），并探讨了该方法在视觉任务训练中的通用适用性。

该研究表明：活动扰动相比权重扰动能够产生方差更低的梯度估计，并且可以为提出的算法提供基于连续时间速率（continuous-time rate-based）的解释。

研究团队通过设计包含大量局部贪心损失函数的架构，解决了前向梯度学习的可扩展性问题。该架构将网络隔离为局部模块，从而减少了每个损失函数的学习参数量。与以往仅沿深度维度添加局部损失的工作不同，本研究发现 patch-wise 和 channel-group-wise 损失函数 也至关重要。

2.2 局部损失函数：解决“维数灾难”

由于扰动学习容易遭受“维数灾难”：方差会随着扰动维度的增加而增大，而深度网络中通常有数百万个参数同时发生变化。限制可学习维度数量的一种方法是将网络划分为子模块，每个子模块配备一个独立的损失函数。因此，该研究通过增加局部损失函数的数量来抑制方差，具体包括：

• Blockwise 损失：将网络按深度划分为多个模块。每个模块由若干层组成，在每个模块的末端计算一个损失函数，该损失函数仅用于更新该模块内的参数。这种方法相当于在模块之间添加了一个「停止梯度（stop gradient）」算子，Belilovsky et al. (2019) 和 Löwe et al. (2019) 曾探索过这种局部贪心损失函数。

  

• Patchwise 损失：图像等感官输入信号具有空间维度。该研究沿着这些空间维度，逐块应用独立的损失。在 Vision Transformer 架构中（Vaswani et al., 2017; Dosovitskiy et al., 2021），每个空间标记代表图像中的一个 patch。在现代深度网络中，每个空间位置的参数通常是共享的，这样可以提升数据效率并降低内存带宽占用。
• Groupwise 损失：最后，该研究转向通道（channel）维度。为了创建多个损失，该研究将通道分成若干组，每组都附加一个损失函数（Patel et al., 2022）。为防止组间相互通信，通道仅连接同一组内的其他通道。

  

具有局部损失的 LocalMixer 残差块。

2.3 LocalMixer 架构：更适合局部学习

该研究提出了更契合局部学习的 LocalMixer 架构。其灵感来自 MLPMixer (Tolstikhin et al., 2021)，由全连接网络和残差块组成。该研究利用全连接网络，使得每个空间块能够在不干扰其他 patch 的前提下独立执行计算，这更符合局部学习目标。

特征聚合器设计。 简单地将损失分别应用于空间维度和通道维度，会带来次优性能，因为每个维度仅包含局部信息。对于分类等标准任务所需的损失，模型需要获取输入的全局视图才能做出决策。标准架构通过在最终分类层之前执行全局平均池化来获得该全局视图。因此，该研究探索了在局部损失函数之前，如何聚合来自其他组和空间块的信息。

2.4 实现细节

• 归一化：该研究选择了层归一化的局部变体，它在每个局部空间特征块内进行归一化（Ren et al., 2017）。对于分组的线性层，每组单独进行归一化（Wu & He, 2018）。实验表明，这种局部归一化在对比学习中表现更佳，且与监督学习中的层归一化效果大致相当。此外，局部归一化在生物学上也更合理，因为它不需要全局通信。
• 归一化放置：通常，归一化层放置在线性层之后。在 MLPMixer（Tolstikhin et al., 2021）中，层归一化被置于每个残差块的开头。本研究发现，最好在每个线性层之前和之后都放置归一化。实验结果显示，这种设计选择对反向传播的影响不大，但能够使前向梯度学习更快地收敛，并实现更低的训练错误。
• 有效实施复制损失：由于特征聚合和复制损失的设计，组（groups）的简单实现在内存消耗和计算方面可能非常低效。然而，每个空间组实际计算的是相同的聚合特征和损失函数。这意味着在执行反向传播和正向梯度时，可以跨损失函数共享大部分计算。该研究实现了自定义 JAX JVP/VJP 函数（Bradbury et al., 2018），并观察到显著的内存节省和复制损失的计算速度提升，否则该方案在现代硬件上运行将不可行。

  

三、实验与结果

该研究将提出的算法与包括反向传播、反馈对齐以及其他前向梯度全局变体在内的方案进行了比较。反向传播是生物学上难以解释的“神谕”，因为它计算的是真实梯度，而本方法计算的是噪声梯度。反馈对齐则通过使用一组随机向后权重来估算近似梯度。

各项实验的结果如下：

图像分类自监督学习。

含线性 readout 的自监督对比学习。

不同位置添加局部损失对前向梯度性能的影响。

使用不同数量组时，在 CIFAR-10 上训练的错误率（M/8/*）。

该研究在监督学习和自监督图像分类任务上评估了其局部贪婪前向梯度算法。在 MNIST 和 CIFAR-10 上，所提学习算法性能与反向传播相当；在 ImageNet 上，其表现明显优于其他使用不对称前向和后向权重的方案。

四、常见问题（FAQ）

Q1: 前向梯度学习和反向传播的根本区别是什么？

A1: 反向传播通过从损失函数向每一层反向传播误差信号来高效计算梯度，但需要对称的反向连接和同步计算，被认为不符合生物学机制。前向梯度学习则通过扰动（如活动扰动）来估计梯度，无需反向传播信号，更符合生物神经元的运作方式，但通常方差较大。该研究借助局部损失等技巧大幅降低了方差。

Q2: 为什么活动扰动比权重扰动方差更小？

A2: 因为扰动元素的数量是输出单元的数量，而不是整个权重矩阵的大小。权重扰动需要扰动所有权重，而活动扰动仅扰动激活值，因此扰动维度更小，方差更低。此外，在具有 ReLU 激活的网络中，可以利用 ReLU 的稀疏性进一步减少方差。

Q3: 局部损失函数具体如何工作？

A3: 该研究设计了三种局部损失：

• Blockwise 损失：将网络按深度分段，每段末端计算一个损失，只更新该段参数。
• Patchwise 损失：沿空间维度（如图像的patch）分别应用损失。
• Groupwise 损失：将通道分成若干组，每组独立计算损失。

Q4: LocalMixer 架构有何特别之处？

A4: LocalMixer 受 MLPMixer 启发，由全连接网络和残差块组成。它让每个空间块独立执行计算，不干扰其他 patch，更符合局部学习目标。同时采用局部归一化和特征聚合器，在保持局部性的同时获取全局信息。

五、小提示

• 注意：虽然该方法在 MNIST 和 CIFAR-10 上与反向传播性能相当，但在更大规模任务（如 ImageNet）上仍有差距，这是当前研究的局限。
• 如果你想尝试复现，推荐使用研究团队提供的 GitHub 代码：https://github.com/google-research/google-research/tree/master/local_forward_gradient，基于 JAX 框架。
• 在执行复制损失时，务必使用自定义 JVP/VJP 函数来节省内存，否则直接计算会导致巨大的内存开销。
• 生物学合理性：该方法不仅工程上有潜力，还提供了一种更接近大脑学习方式的算法思路，尤其适合探索神经形态计算等新型硬件。

六、总结

人们通常认为基于扰动的学习无法扩展到大型深度网络。该研究表明，这种观点在某种程度上是正确的——因为梯度估计方差会随着扰动隐藏维度的数量而增长，而且对共享权重扰动而言情况更糟。

但令人乐观的是，该研究证明，大量局部贪心损失可以帮助更好地推进梯度学习的规模化。研究探索了 blockwise、patchwise 以及 groupwise 局部损失及其组合，在大型网络中总共设置四分之一的损失时表现最佳。局部活动扰动前向梯度在更大规模网络上的表现优于以往的无反向传播算法。局部损失的设计思路为不同的损失结构开辟了新的可能性，并阐释了如何在生物大脑和替代计算设备中寻找生物学上合理的学习算法。

编辑：黄飞

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人工智能领域梯度学习方法研究进展综述要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题