高斯过程与神经网络高斯过程原理解析

让我们从核方法与深度神经网络这两个主题切入。在当今机器学习领域，这两种技术均占据重要地位，且近年来不断涌现的理论研究正逐步揭示出两者之间的深层关联。

当前学术界对神经网络的理解存在多种视角，包括决策边界、特征表示、将网络视为核函数，以及利用微分方程建模。在核方法这一研究路径上，一项关键的理论成果是：当网络参数遵循相同的随机初始化分布时，一个无限宽的神经网络等价于一个高斯过程。该结论优雅且实用，但其根本限制在于必须依赖“无限宽”这一前提。然而在深度学习时代，我们更关注网络的深度：增加深度会如何改变网络行为？进一步追问：若网络宽度有限，仅通过不断加深网络，是否也能诱导出高斯过程？值得庆幸的是，该问题已有肯定答案 [1]。

[1] Zhang, S. Q., Wang, F., & Fan, F. L. (2022). Neural network gaussian processes by increasing depth. IEEE Transactions on Neural Networks and Learning Systems

一、高斯过程

为了夯实基础，我们先阐明高斯过程的概念。多元高斯分布大家都很熟悉：它刻画一个随机向量，由均值向量和协方差矩阵定义。现在，将这一概念推广至无限维——将函数本身视为无限维向量，那么该无限维向量的高斯分布便构成了高斯过程。它由一个均值函数与一个协方差函数共同决定。

二、神经网络高斯过程

那么，神经网络与高斯过程如何建立联系？Lee等人 [1] 以及Neal [2] 的研究表明，当对无限宽度网络的参数进行随机初始化时，该网络的输出实际上构成了一个高斯过程，这一发现被称为神经网络高斯过程（NNGP）。

直观解释如下：考虑一个全连接多层网络，其参数经独立同分布随机初始化，每个神经元的输出亦呈独立同分布。当网络宽度趋近无穷时，后续层各神经元的输出由前一层所有神经元输出聚合而成——依据中心极限定理，无穷多个独立同分布随机变量的均值服从高斯分布。由此，网络最终输出的函数本质上即是一个高斯过程。下方的动图清晰展示了这一观点。

[1] Lee, J., Bahri, Y., Novak, R., Schoenholz, S. S., Pennington, J., & Sohl-Dickstein, J. (2017). Deep neural networks as gaussian processes. ICLR.

[2] Neal, R. M. (1996). Priors for infinite networks. In Bayesian Learning for Neural Networks (pp. 29-53). Springer, New York, NY.

三、深度诱导的神经网络高斯过程

前述NNGP理论固然出色，但存在根本性缺陷：无论网络层数多少，整个理论均依赖于“网络宽度无穷大”的假设。然而众所周知，在深度学习时代，模型能力的关键驱动因素是深度。由此自然引出一个问题：能否将NNGP理论拓展至包含深度？换言之，我们能否仅通过增加网络深度（而非宽度）来推导出NNGP？若确能如此，则将是对现有理论的重要补充。

我们考察了一种特殊的网络拓扑：每隔固定间隔，中间层的输出被汇聚到最后一层，形成最终输出。那么这种网络的输出是否构成高斯过程？直觉上，当网络无限深时，被聚合的变量理论上可以无限多，但这些变量并非独立——它们来自不同隐藏层，彼此存在依赖，因此无法直接应用经典中心极限定理。然而，本研究的核心发现是：当该间隔足够大时，被聚合的隐藏层之间距离增大，它们的依赖关系将衰减至可忽略程度。于是这些变量满足了“弱依赖”条件下的中心极限定理 [2]。最终结论具有很强的说服力：深度诱导的高斯过程确实存在！

[1] Fan, F. L., Lai, R., & Wang, G. (2020). Quasi-equivalence of width and depth of neural networks. arXiv preprint arXiv:2002.02515.

[2] https://en.wikipedia.org/wiki/Central_limit_theorem

证明思路概述如下。在弱依赖情形下，存在一种称为“beta-mixing”的条件：它度量一个随机变量的边缘分布与其相对于另一变量的条件分布之间的差异——若该差异能够小到指数量级，则表明两变量之间的依赖极弱。我们的证明工作旨在构建条件使beta-mixing条件成立。具体而言：初始化时限制权重与偏置的范数不超过一定范围，然后令间隔趋向无穷。在多重因素作用下，被聚合的各隐藏层输出之间的相互影响逐渐减弱，最终满足beta-mixing条件。完整证明过程参见下图。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：高斯过程与神经网络高斯过程原理解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题