一种优化深度网络的降维分解技术原理解析

这次要聊的，同样是利用降维思路来加速网络推理，不过在数学方法上，它走了一条不一样的路。更关键的是，这个方法确实能让深度网络跑得更快——作者在VGG-16上做了实验，获得了4倍的加速效果，而ImageNet分类的top-5错误率仅仅上升了0.3%。这个性价比，相当可观。

1、原理

先从神经网络里最基础的卷积运算说起。假设某个隐藏层有c张输入图，每张图都会跟一个卷积核做运算。如果卷积核大小是k×k，那就有c个卷积核。我们可以把这些输入图沿着“个数”这个维度重新排列，它就变成了一个三维张量，大小是h×h×c。卷积核则是k×k×c，它在k×k的窗口上滑动，同时在c方向做累加求和。

每个输出点，本质上就是k×k×c次乘法和加法的结果。c个卷积核生成一张输出图；如果这层隐藏层有d个节点，那实际上就是输出d张图。现在，我们把k×k×c×d这么大的一坨卷积核重新排列，排成一个d行、每行有k×k×c个元素的矩阵，记作W。同时，把输入图也排成一个长度为k×k×c的向量。这样一来，卷积运算就可以用矩阵乘法来表达了：

这个W是一个d×(kkc+1)的矩阵，多出来的那个1是为了把bias也塞进去。可能有人会问：一张图有h×h个像素点，这里只取了k×k个点，那剩下的点怎么办？其实，剩下的那些点可以看作是另一组向量输入，在后续的降维分解中都会考虑进去。

从上面的形式可以看出来，计算复杂度是O(dkkc)。这也解释了为什么这篇文章的方法能用在更深的网络上——本质原因就在这里。

接下来，作者重新把y表达成了这样：

这里的M是一个d×d的矩阵，秩是d'。ȳ是平均响应，维度也是d'。至于为什么要引入ȳ，作者没有明说，但我猜它跟归一化差不多，可能是为了纠正数据在网络传输过程中的发散问题。经过降维之后，y和x的关系就变成了：

b是新生成的bias：

因为M的秩是d'，所以它可以分解成：

于是就有：

此时，W矩阵变成了d'×(kkc+1)的大小，计算量也降为O(d'kkc) + O(dd')。由于O(dd')很小，整体复杂度就变成了原来的d'/d。直白点说，这相当于减少了神经网络中输入通道的数量，把输入通道拆分成两层网络。而CP分解的思路是保持权重通道数不变，去减小k×k那个方向的维度。

以上这些推导，都建立在y本身具有较低维数表达这个假设上。但在实际中，无论是任意输入x，还是用不同训练集训出来的网络，我们都没法保证y的维数真的低于d。所以，这实际上成了一个近似问题——如何选择一个合适的d'，让新得到的参数网络尽可能逼近原来的结果。作者用的是平方差作为目标函数：

这个优化问题求解起来并不复杂。本质上就是去找yyᵀ最大的那几个本征值，跟PCA的思路很像。把排在前面的、最大的本征值提取出来，剩下的设为零，然后通过一些矩阵变换，就能得到M矩阵。

这个方法也容易兼容非线性单元。考虑非线性之后，优化目标变成了：

这里的r是非线性函数，作者只考虑了ReLU的情况。这个目标函数不太好解，所以作者做了一些数学上的松弛处理，引入了z，重新表达为：

可以看出，当λ趋近于无穷时，这个目标函数就等同于原来的那个。用这个方法，可以逐层优化网络参数。因为每一层的输出就是下一层的输入，所以整个优化过程可以一层层传递下去，完成整个网络的优化。

2、结果

作者先选了一个10层的网络做实验，结果如下：

这里的symmetric和asymmetric，是作者在做非线性优化时，分别用了原始的输入结果和近似的输入结果。本质上是在修正每层产生的误差，防止它在层间累积。可以看出，asymmetric的错误率要比symmetric低。

VGG是一个广泛使用的深度网络模型，在物体识别、图像分割、视频分析这些领域都有广泛应用。作者在VGG-16上做了实验，并与CP分解的结果做了对比：

结论

这篇文章介绍了一种不同于CP分解的降维方法，确实能优化深度网络。不过，说实话，它还是有一些局限性的。最明显的问题在于，网络前向传输优化时，错误率还是会不断累积——这也是为什么作者只优化了16层的VGG，尽管这已经比CP分解能处理的网络更深了。至于像ResNet这样更深的网络，作者并没有给出相关的结果。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：一种优化深度网络的降维分解技术原理解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题