深层神经网络训练过拟合问题优化方法

训练深度学习模型时，最让人头疼的问题之一就是过拟合。简单来说，深层神经网络的学习过程，是希望找到一个既能完美拟合现有训练数据，又能准确预测未知数据的模型。但现实往往很骨感——模型在训练集上表现神勇，一遇到新数据就频频翻车，这便是典型的过拟合（Overfitting）。

要训练出真正可用的深层网络，必须想办法避开这个坑。目前主流的优化方法主要有三种：正则化、扩增训练集以及提前停止迭代。下面逐一拆解。

正则化（Regulation）

正则化的思路很直接：在优化损失函数（cost function）时，给损失函数后面加一个“惩罚项”，也就是正则项。这个惩罚项会约束模型的复杂度，从而抑制过拟合。目前最常用的两种正则化方法是 L2 正则化和 Dropout 正则化。

L2 正则

L2 正则基于 L2 范数，具体做法是在原损失函数后面加上参数 L2 范数的平方，形式是这样的：

其中 J₀ 是原始损失函数，m 是数据集大小。参数更新时采用如下公式：

注意这里 ，这意味着权重 w 会不断衰减。在神经网络中，一个神经元的权重越小，它对最终结果的影响就越弱；当权重衰减到零，这个神经元相当于被剔除了。而过拟合的一个重要成因就是模型过于复杂，所以 L2 正则通过让权重衰减，降低了模型复杂度，自然也就减少了过拟合的风险。

随机失活（Dropout）正则

Dropout 的思路和 L2 本质上是一样的——都是通过降低模型复杂度来避免过拟合，只是实现方式不同。训练过程中，Dropout 会按照一定的概率随机“忽略”掉一部分神经元，让它们暂时失活。这样一来，每一次迭代都相当于在训练一个不同的、结构更简单的子网络，大大提升了模型的泛化能力。

工程中常用的实现方式是 Inverted Dropout，具体细节就不展开了。

使用 Dropout 的小技巧

· 丢弃率通常控制在 20%～50% 比较理想，建议从 20% 开始尝试。比例太低起不到效果，太高则可能导致模型欠学习。
· 在大网络模型上效果更明显。模型越大，越有机会学到多种独立的表征，Dropout 带来的提升也越显著。
· 建议在输入层（可见层）和隐藏层都使用 Dropout。实践证明每层都应用 Dropout 能取得更好的效果。
· 适当增加学习率和冲量。学习率可以扩大 10～100 倍，冲量值调到 0.9～0.99。
· 限制网络模型的权重。因为大的学习率往往导致大的权重值，对权重做最大范数正则化等约束已被证明能有效提升效果。

扩增训练集（Data augmentation）

有一句话在业内流传很广：“有时候不是因为算法好赢了，而是因为拥有更多的数据才赢了。”在深度学习领域，更多的训练数据意味着可以训练更深的网络、得到更好的模型。但现实是，收集全新数据往往成本高昂、费时费力。

那么，有没有低成本的方法？当然有——在原有数据上做“小动作”来生成新数据。以图片为例，水平翻转、旋转一个小角度、放大或裁剪局部，都能产生有效的训练样本。虽然这些“人工”数据的效果比不上真正的新数据，但代价几乎为零。很多场景下，这依然是一个极其高效的数据扩增手段。

提前停止迭代（Early stopping）

这个方法很直观：在训练过程中，同时绘制训练集和交叉验证集的误差曲线。从下面的图可以看出，训练集误差随着迭代次数增加一路下降，而验证集误差却是先降后升。显然，我们希望两个误差都尽可能小，那么最优点就在验证集误差的最低点——训练应该在这里停止，并采用该点的权重作为神经网络的参数。

不过，这个方法也有明显的短板。提前停止意味着我们不再继续优化训练集误差，而通常在验证集误差达到最小值时，训练集误差还没有降到足够低。结果就是，虽然避免了过拟合，却可能陷入欠拟合。当然，它并非一无是处，在某些场景下依然表现优异，需要根据实际情况权衡使用。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：深层神经网络训练过拟合问题优化方法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题