新型类脑算法可降低神经网络内存消耗

人工智能的浪潮已经席卷了图像识别、自然语言处理、人机对话等几乎所有技术领域，正在深刻改变着各行各业的格局。不过，在移动端大规模部署AI，一直有个“老大难”问题——人工神经网络的训练和运行，实在是太耗电了。如何降低AI能耗，已成为类脑计算和绿色AI研究的重要课题。

那么，有没有什么办法能让它“省着点花”呢？答案或许就藏在你我的大脑里。毕竟，大脑拥有超强的计算能力，而神经元之间靠着一种极其高效的方式——短促的电脉冲（也就是“尖峰”）——来传输信息，能耗极低。正是受此启发，奥地利格拉茨工业大学的研究人员 Wolfgang Maass 和 Robert Legenstein 带领团队，开发出了一种全新的机器学习算法，名叫 e-propagation，简称 e-prop。简单来说，这个算法能模仿人脑的学习模式，适应不断变化的需求，并且特别擅长“边学边用”，从而把能耗给省下来。这种基于生物启发的脉冲神经网络优化方法，为低功耗AI开辟了新路径。

相关成果已经发表在近期的《Nature Communications》上。

大脑的神经网络，比人工的更“省电”：类脑计算的启示

我们常常把大脑的神经网络和AI的深度神经网络放在一起比较，但它们的工作原理其实差别很大，核心就在于神经元怎么“说话”。

在深度神经网络里，信息是一层层同步传递的，就像部队按口令齐步走。每个神经元都连接到下一层的所有神经元，数据高度同步地在层间流动，计算预测值，然后和目标值对比，再计算误差，最后反向传播回去调整网络权重。这个“学习-反馈-调整”的过程要反复迭代很多次，直到网络能给出准确的预测。这种模式对算力和电力的需求极大，是AI能耗的主要来源之一。

但大脑是另一套玩法。生物神经元通过发射“尖峰”脉冲来交流，每个神经元都按照自己的节奏来，根本不用等别人。而且，大脑里的连接没有整齐的层级，充满了各种反馈回路——神经元的输出信号，最终很可能又会绕回来影响它自己。这听起来有点乱，但效率惊人。这种基于尖峰脉冲的通信方式，正是类脑计算和神经形态硬件追求的核心机制。

从能耗上看，差距就更明显了。训练一个最强大的AI模型，动辄需要几千瓦的电能，而咱们的大脑只消耗大约20瓦。这就是为什么人们对“类脑计算”和“神经形态硬件”（一种模仿大脑物理结构和原理的芯片）越来越感兴趣。低功耗AI的研发，迫切需要从生物神经网络中寻找灵感。

既然大脑的尖峰通信方式这么省电，那能不能把人工神经网络那套“反向传播”的想法，直接套用到大脑模型上呢？问题是，在大脑的神经网络里，让信号在时间和空间上通过突触“反向传播”回去，在生物上是几乎不可能实现的。因此，脉冲神经网络需要一种全新的学习规则。

新型机器学习算法：e-prop——面向脉冲神经网络的高效学习

为了解决这个矛盾，研究人员从实验神经科学的数据中找到了两个关键特征。第一个是，每个神经元都保留了一种“分子标记”，相当于对之前的活动有记忆，而且这种记忆会随时间慢慢消失；第二个是，大脑会利用像多巴胺这样的神经递质，提供自上而下的“学习信号”，来调节一群神经元的行为。

奥地利的团队巧妙地把这两种特性结合起来，创造出了e-prop算法。它不需要对信号进行时间上的反向传播。虽然学起来比传统的反向传播要慢一些，但最终性能很接近。更重要的是，e-prop还能很好地适用于那些拥有更复杂神经元模型的循环脉冲神经网络（RSNN）。这种基于资格迹的在线学习机制，是脉冲神经网络训练领域的重要突破。

最大的亮点在于，e-prop支持“在线学习”。这意味着，它不用一次性把海量数据全部处理完，而是可以一边接收新数据，一边实时学习。这大大减少了计算过程中对内存和能量的需求，让在手机、传感器这类小设备上进行“片上学习”变得可行多了。这种低功耗AI方案，非常适合移动端和边缘计算场景。

在大脑中，尖峰只有在需要处理信息时才会变得活跃。对于不那么活跃的网络，学习就成了一个特殊挑战——你需要观察很长时间，才能确定哪些连接对提升性能有帮助，学习效率自然就低了。e-prop用一个很巧妙的方式解决了这个问题。它让每个神经元记录一个“资格跟踪信号”，相当于一个“待办清单”，记下自己在什么时候用过哪些连接。然后，这个信号和自上而下的“学习信号”结合起来，共同指导突触可塑性。这套模型揭示了一个道理：生物神经元中那些缓慢变化的“隐藏变量”，为脉冲神经网络如何在没有错误信号向后传播的情况下学习，提供了一条可能的出路。神经元可以通过资格迹，让信息在更长的时间跨度里向前传播，从而和后来才出现的瞬时错误信号对上号。这种机制为类脑计算提供了坚实的理论基础。

此外，e-prop理论还为实验中发现的一个现象提供了合理解释：为什么多巴胺信号会针对不同的神经元群体有不同作用？以前基于奖励的学习理论认为，同一个学习信号应该发给所有神经元。但e-prop理论则认为，自上而下的学习信号是根据每个神经元群对网络性能（也就是损失函数）的不同影响来发送的，可以说是“定向投送”。这种精细化的调节方式，进一步提升了神经网络的学习效率。

神经形态硬件的新动力：从算法到芯片的落地

Maass 和 Legenstein 的态度很明确：e-prop 将成为新一代移动学习计算系统的驱动力。这些系统不需要人工编程，而是能像人脑一样学习，根据不断变化的需求自我调整。他们的目标是，让这类计算系统不再依赖云端，不再消耗大量能源，而是把学习的潜力直接整合到移动端的硬件组件里，真正做到节能。这正是神经形态硬件和低功耗AI发展的核心方向。

目前，这个团队正在与英特尔的研究人员合作，计划将e-prop方法集成到该公司的下一代神经形态芯片Loihi中。Loihi本身就是专门为尖峰网络优化的。同时，他们也在和曼彻斯特大学的人脑计划项目组合作，将e-prop应用到神经形态超级计算机SpiNNaker上。这些合作预示着脉冲神经网络与专用硬件的结合正在加速。

当然，要让这项技术达到今天最前沿AI的能力，还有很长的路要走。但话说回来，如果它真能帮我们逼近生物大脑中那种不可思议的能效，那么，一个无处不在的、低功耗的智能时代，可能就不远了。届时，类脑计算和神经形态硬件将真正改变AI的能耗格局。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：新型类脑算法可降低神经网络内存消耗要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题