AI算力破解内存墙与功耗墙的解决方案

AI大模型的算力，说实话，目前确实是供不应求。就拿OpenAI的算力基础设施来说，最直接受益的是芯片层面的GPGPU，紧随其后的是CPU、AI推理芯片、FPGA这些。AI服务器市场的扩大，又顺带拉动了高速网卡、HBM、DRAM、NAND、PCB等一系列部件的需求。与此同时，为了解决大算力场景下GPU遇到的“功耗墙”和“内存墙”问题，相关技术也在不断升级，比如存算一体、硅光/CPO这些方向的产业化进程，有可能会提速。

1. “内存墙”、“功耗墙”如何掣肘AI的算力发展

所谓“内存墙”，就是存储和计算之间的性能失配。具体来说，是指内存的容量或传输带宽有限，严重限制了CPU性能的发挥。内存性能主要看两个指标：“带宽”和“等待时间”。过去二十年里，运算设备的算力提升了惊人的90000倍，进步非常快。虽说存储器也从DDR发展到了GDDR6x，能用于显卡、游戏终端和高性能运算，接口标准也从PCIe1.0a升级到了NVLink3.0，但通讯带宽的增长只有30倍。和算力的提升幅度一比，这个速度简直慢得可怜。

在冯·诺依曼架构下，数据传输带来了严重的功耗损失。这个架构要求数据在存储单元和处理单元之间不停地“读写”，来回传输的过程中消耗了大量功耗。根据英特尔的研究，当半导体工艺达到7nm时，数据搬运的功耗高达35pJ/bit，占总功耗的63.7%。数据传输造成的功耗损失越来越严重，这就成了限制芯片发展速度和效率的“功耗墙”。

AI模型的参数量正在以惊人的速度扩大，GPU内存的增长速度却捉襟见肘。在GPT-2之前的模型时代，GPU内存还能勉强满足需求。但近几年随着Transformer模型大规模发展和应用，模型大小每两年平均增长240倍。像GPT-3这样的大模型，参数增长已经超过了GPU内存的增长速度。传统的设计趋势显然跟不上现在的需求了，芯片内部、芯片之间或者AI翻跟斗之间的通信，反而成了AI训练的瓶颈。可以说，AI训练不可避免地撞上了“内存墙”。

AI模型的运算量增长速度也在不断加快，这反过来又推动了硬件算力的需求。预训练技术的进步导致各领域模型的计算量快速增长，大约每两年就要增加15倍。而Transformer类模型更夸张，运算量每两年就要增加750倍。这种近乎指数的增长趋势，让AI硬件的研发方向发生了改变——必须追求更高的峰值算力。

当前的研究为了追求更高的算力，甚至不惜简化或优化其他部分组件。比如内存的分层架构，把DRAM容量用于需要高性能访问的热数据，把容量层用于处理那些需要大容量但性能要求不那么高的任务。这样可以适应不同的数据类型、用例、技术需求和预算限制，特别适用于AI、ML和HPC等众多应用场景，帮助企业以更经济高效的方式满足内存需求。

2. “内存墙”、“功耗墙”等问题解决路径

2.2.1. 存算一体技术：以SRAM、RRAM为主的新架构，大算力领域优势明显

存算一体技术，本质是在存储器中嵌入计算能力，用一种新的运算架构来完成乘加运算。这是一种以数据为中心的非冯·诺依曼架构，把存储功能和计算功能有机结合起来，直接在存储单元中处理数据。具体来说，存算一体通过改造“读”电路的存内计算架构，可以直接从“读”电路中得到运算结果，然后将结果“写”回存储器的目标地址。这样一来，就避免了数据在存储单元和计算单元之间频繁转移。存算一体减少了不必要的数据搬移开销，不仅大幅降低了功耗（可以降到原来的十分之一到百分之一），还能利用存储单元进行逻辑计算来提高算力，显著提升计算效率。它既适用于AI计算，也适用于感存算一体芯片和类脑芯片，是未来大数据计算芯片架构的一个主流方向。

存算一体技术可以细分为查存计算、近存计算、存内计算和存内逻辑，各有各的解决内存墙的方式。

查存计算是早期技术，在存储芯片内部查表来完成计算操作。近存计算已经比较成熟，计算操作由位于存储区域外部的独立计算芯片或模块完成，典型代表是AMD的Zen系列CPU，以及封装了HBM内存和计算模组的芯片。存内计算则更进一步，计算操作由位于存储芯片或区域内部的独立计算单元完成，存储和计算可以是模拟或数字的，代表公司有Mythic、千芯科技、闪亿、知存、九天睿芯等。至于存内逻辑，是通过在内部存储中添加计算逻辑，直接在内部存储执行数据计算，典型代表包括台积电和千芯科技。

在存算一体的介质选择上，SRAM和RRAM是主流研究方向。存算一体涉及的成熟存储器有好几种，比如NOR FLASH、SRAM、DRAM、RRAM、MRAM等非易失性存储器。FLASH是非易失性存储，成本低、可靠性高，但制程有瓶颈。SRAM速度快、能效比高，在存内逻辑技术发展后具备高能效和高精度的特点。DRAM容量大、成本低，但速度慢，还需要不断刷新电力。至于新型存储器PCAM、MRAM、RRAM和FRAM，也都适用于存算一体。其中RRAM在神经网络计算中优势明显，是下一代存算一体介质的主流方向之一。除了SRAM，RRAM也是未来发展最快的新型存储器之一，结构简单、速度高，但目前材料还不够稳定，工艺可能还需要2到5年才能成熟。

存算一体的应用场景相当广泛，不同大小的设备都有需求。

从技术领域来看，它可以应用于：AI和大数据计算，把AI计算中大量乘加计算的权重存在存储单元里，在读取的同时进行数据输入和计算处理，在存储阵列中完成卷积运算；感存算一体，把传感、存储和运算集成为一体架构，在传感器自带的AI存算一体芯片上完成运算，实现零延时和超低功耗的智能视觉处理；类脑计算，让计算机像人脑一样将存储和计算合二为一，高速处理信息。可以说，存算一体天然就是把存储和计算结合在一起的技术，是未来类脑计算的首选和产品快速落地的关键。

从应用场景来看，存算一体适用于各类人工智能场景和元宇宙计算，比如可穿戴设备、移动终端、智能驾驶、数据中心等等。针对端侧的可穿戴等小设备，成本、功耗和时延要求很高，端侧竞品又多，应用场景也比较碎片化。存算一体技术在端侧的竞争力影响约占30%。而针对云计算和边缘计算的大算力设备，则是存算一体芯片的优势领域，其竞争力影响可以达到约90%。

目前，传统存储大厂纷纷入局，新兴公司也不断涌现。国外方面，三星电子尝试了多个技术路线，发布了新型HBM-PIM芯片和全球首个基于MRAM的存内计算研究。台积电在ISSCC 2021上提出了基于数字改良的SRAM设计存内计算方案。英特尔也早早提出了近内存计算战略，把数据在存储层级中向上移动，使其更接近处理单元进行计算。

国内方面，阿里达摩院成功研发了全球首款基于DRAM的3D键合堆叠存算一体芯片，突破了冯·诺依曼架构的性能瓶颈。千芯科技则专注于可重构存算一体AI芯片，核心产品包括高算力低功耗的存算一体AI芯片和IP核，支持多领域多模态的人工智能算法。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AI算力破解内存墙与功耗墙的解决方案要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题