机器学习过度能源消耗驱动AI功耗爆炸式增长

机器学习正在消耗过多的能源——这一模式成本高昂、效率低下，且不可持续。

从很大程度上来说，机器学习是一个崭新、令人振奋且迅猛发展的领域。它最初的设计目标是在准确性和性能上实现突破，但如今，这往往意味着更大的模型和更庞大的训练集，需要指数级增长的算力支持。训练与推理过程都会在数据中心消耗大量电力。

国际能源署（IEA）的报告显示，2020年全球数据中心的用电量达到200-250太瓦时，约占全球总电力需求的1%。几家大型网络运营商的数据表明，能效提升有助于将数据流量与能源使用“脱钩”。在芯片功耗方面，任何幅度的降低都将带来显著益处，而Chiplet设计的应用被认为可能有助于控制人工智能的电力消耗。

3D Chiplet设计能有效应对高性能计算挑战，近年来备受高性能计算和AI芯片厂商关注。在制程不变的前提下，基于异构计算的Chiplet可带来算力的持续增长，同时大幅降低大芯片的功耗。无论对于企业增长还是世界能源未来，这都是一项值得推进的举措。

机器学习所耗费的功率令人触目惊心。在最近的Design Automation Conference上，AMD首席技术官Mark Papermaster展示了一张幻灯片，对比了机器学习系统的能耗与世界能源产量。

图1：机器学习能耗。资料来源：AMD

敲响警钟的并非只有Papermaster。“我们已经忘记了，过去100年创新的驱动力是效率，”Perceive首席执行官Steve Teig说。“这正是推动摩尔定律的动力。我们现在处于一个反效率的时代。”Synopsys董事长兼首席执行官Aart de Geus则代表地球植物生态恳请行动：“理解这一问题的人，也应当有所作为。”

为什么能源消耗上升得如此之快？“神经网络的计算需求无法被满足，”Arm研究员兼高级技术总监Ian Bratt说。“网络越大，结果就越好，你能解决的问题也越多。能源的使用与网络规模成正比。因此，为了能够采用越来越复杂的神经网络和增强的用例，如实时语音和视觉应用，节能推理是绝对必要的。”

不幸的是，并非每个人都关注效率。Mythic负责产品和业务开发的高级副总裁Tim Vehling说：“你可以看看超大规模公司在做什么——他们正努力获得更好、更准确的语音识别、语音文字转写、智能推荐系统。这与金钱直接挂钩。精度越高，他们能服务的客户就越多，利润也就越大。看看数据中心的训练以及这些大型自然语言处理模型的推理，那是消耗大量电力的地方。我不清楚在这些应用中是否有任何动力去优化功耗。”

当然，也有人确实在乎。Synopsys的科学家Alexander Wakefield说：“有一些商业压力要求减少这些公司的碳影响，并非直接的财务政策，更重要的是部分消费者开始只接受碳中和的解决方案。这是来自绿色能源方面的压力：如果这些供应商之一宣称自己是碳中和的，更多消费者可能愿意买单。”

但并非所有能源都消耗在云端。越来越多的智能边缘设备也在加剧这一问题。Aspinity公司战略和技术营销总监Marcie Weinstein说：“物联网由数十亿台设备构成，在不远的将来某个时间点，它们将耗费比世界上产生的更多电力。电力被用于收集、传输数据，并用收集的数据做所需的一切。”

图2：边缘处理的低效率。资料来源：Aspinity / IHS / SRC

降低功耗

过去，科技界依靠半导体缩放来使产品更加节能。“但我们的工艺技术正逼近物理极限，”Arteris IP研究员兼系统架构师Michael Frank说。“晶体管宽度在二氧化硅的10到20晶格常数之间。我们有更多带有杂散电容的电线，在充电和放电过程中会损失大量能量。在进入非线性区域之前，我们无法显著降低电压——那是一个操作结果用统计描述而非确定性描述的区域。从技术方面看，我无法为大家描绘一个更好的未来。然而，有一个事实：有一种设备只需消耗大约20瓦就能完成所有这些事情，包括学习。这就是人脑。”

那么，机器学习是否比替代方案更高效？西门子EDA的ICVS产品经理Joe Hupcey说：“必须从应用系统角度考虑机器学习的功耗，其中权衡取决于包含机器学习与整个系统功率配置文件相比带来的整体性能增益。在许多应用领域中，业界已经开发出高效的机器学习FPGA和ASIC，以降低训练和推理的功耗，并且正在进行大量投资来延续这一趋势。”

有一个因素可能迫使人们更加关注功耗。“由于热问题，一些公司正在研究每平方微米的功率，”Synopsys的科学家Godwin Maben说。“每个人都在担心发热问题。当你在一个小区域内把大量门电路堆在一起时，功率密度很高，温度上升，你就会接近热失控。功率密度现在正限制着性能。作为EDA供应商，我们不仅关注功率，因为当热能进入画面时，每瓦的性能，乃至每平方微米的每瓦性能，就变得重要了。”

有几种方式看待功耗问题。“我通常喜欢查看每次推理的能量，而不是功率，”西门子EDA的HLS平台总监Russ Klein说。“单看功率可能有点误导。例如，通常CPU比GPU消耗更少的功率。但GPU执行推理的速度比CPU快得多。结果就是，如果查看每次推理的功率，GPU可以使用CPU所需能量的一小部分来执行推理。”

消耗最多能量的地方尚不清楚，虽然这似乎显而易见，但结果却颇有争议。有两个方面需要考虑——训练与推理，以及边缘与云。

训练与推理

为什么训练会消耗如此多的能量？“当您对同一个数据集进行多次迭代时，会消耗大量的能量，”Arteris的Frank说。“你正在做梯度下降类型的近似。该模型基本上是一个超维曲面，你所做的梯度是通过由多维向量空间下降的微商定义的。”

这样做所消耗的能量正在迅速增加。“如果你看看两年前训练一个模型所需的能量，一些变压器模型的能量在27千瓦时的范围内，”Synopsys的Maben说。“如果你看看今天的变压器，它超过了50万千瓦时。参数的数量从大约5000万增加到2亿。参数数量增加了四倍，但能量增加了超过18000倍。归根结底，它归结为碳足迹以及这会产生多少磅的二氧化碳。”

这与推理相比如何？Cadence Tensilica AI产品的产品营销总监Suhas Mitra说：“训练涉及向前和向后传递，而推理只是向前传递。因此，推理的能力总是较低。此外，在训练期间，批量大小可能很大，而在推理过程中，批量大小可能会更小。”

当你试图估计这两个函数消耗的总功率时，会引起争议。“关于哪个消耗更多能量——训练或推理——存在争议，”Maben说。“训练一个模型会消耗大量的能量，而根据这些数据进行训练所需的天数是巨大的。但它是否比推理需要更多的能量？训练是一次性费用。你花了很多时间在训练上。训练阶段的问题是参数的数量，有些模型有1500亿个参数。”

此外，训练通常不止一次。“训练不是一劳永逸的，”Mythic的Vehling说。“他们不断地重新训练、重新优化模型，因此训练是恒定的。他们不断地调整模型，寻找增强功能，增强数据集，因此它或多或少是一项持续的活动。”

然而，推理可能会被重复多次。“你训练一个模型，它可能是为自动驾驶汽车开发的，现在每辆车都使用这个模型，”Maben补充道。“现在我们正在谈论在大约1亿辆汽车中进行推理。一项预测是，超过70%到80%的能量将用于推理而不是训练。”

有一些数据可以支持这一点。“在Northeastern University和MIT最近的一篇论文中认为，推理对能源消耗的影响大大超过了训练，”Untether AI的高级产品总监Philip Lewer说。“这是因为模型是专门为推理而建立的，因此在推理模式下的运行频率大大高于训练模式——实质上就是训练一次，多处运行。”

云与边缘

将应用程序从云端迁移到边缘可能是出于很多不同的原因。Expedera营销副总裁Paul Karazuba说：“市场已经看到，有些项目最好推到边缘而不是云端。我认为在边缘完成什么和不做什么以及如何做出这些决定之间没有明确的界限。我们看到了对边缘更多人工智能的渴望，我们看到了对边缘更多关键任务应用程序的渴望，而不是把人工智能作为盒子外面的一个印章。人工智能实际上是在设备中做一些有用的事情，不仅仅存在于那里。”

这并不是要你将云模型移动到边缘。“假设你有一个自然语音、语音识别应用程序，”Mythic的Vehling说。“你正在云端训练这些模型。大多数时候，您都在运行这些模型以在云中进行推理。如果你查看更多位于边缘的推理应用程序——那些不基于云的应用——你可以针对这些本地资源训练模型。所以你要解决的几乎是两个不同的问题：一种是基于云的，另一种是基于边缘的，它们不一定有联系。”

模型的建立必须知道它们最终将在哪里运行。“你通常会发现数十亿参数模型在云中运行，但这只是一种模型，”Vehling补充道。“在另一个极端，你有少量的唤醒词模型，它们占用的资源非常少——称它们为小机器学习甚至更低。然后在中间是模型类别，例如可视化分析模型，你可能会在基于相机的应用程序中看到这些模型。它们比云中的模型小得多，但也比这种非常简单的唤醒词大得多。”

而且，处于边缘的不仅仅是推理。我们可能会看到越来越多的训练。“联合学习就是一个例子，”Expedera的首席科学家Sharad Chole说。“已经使用的一个领域是自动完成。每个人的自动完成功能可能会有所不同——如何学习？如何定制？必须在保护用户隐私的情况下完成。这是个挑战。”

迈向更高的效率

将应用程序从训练系统转移到边缘涉及到重要的软件堆栈。“一旦你通过了初始训练阶段，后续优化会提供明显更轻的模型，而性能几乎没有下降，”西门子的Hupcey说。“模型简化技术被用来降低推理过程中的功耗。量化、权重修剪和近似被广泛用于模型训练后或模型部署前的过程中。其中最明显的两个案例是TinyML和GPT-3的轻型版本。”

Klein补充道：“删除和修剪是一个好的开始。量化为更小的数字表示也有帮助。积极地进行，这些可以将网络的大小减少99%或更多，并且在许多情况下导致精度下降不到1%。有些人还研究了模型中的通道与层之间的交易，以在不影响准确性的情况下产生更小的网络。”

这些技术既减小了模型的大小，又直接降低了能源需求，更多的改进是可能的。“现在我们看到了对混合精度的支持——每一层都可以量化到不同的域，”Expedera的Chole说。“这种做法可以被进一步推动。也许将来权重的每个维度都可以量化为不同的精度。这种推动是有意义的，因为这样一来，在训练期间，数据科学家会意识到他们如何能够降低功率，以及在降低功率的同时，他们正在做什么样的准确性权衡。”

结论

模型变得越来越大以试图获得更高的准确性，但这种趋势必须停止，因为它消耗的电量正在不成比例地增加。虽然云计算由于其商业模式，今天可以负担得起，但边缘却不能。随着越来越多的公司投资于边缘应用，我们可以期待看到对能源优化的更多关注。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：机器学习过度能源消耗驱动AI功耗爆炸式增长要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题