人工智能机器学习计算中的内存挑战解析

上周，在人工智能硬件与边缘人工智能峰会上，一场以“下一代AI/ML计算的内存挑战”为主题的圆桌讨论引发了业界的广泛关注。参与讨论的MLCommons的David Kanter、微软的Brett Dodds以及AMD的Nuwan Jayasena，三位专家从不同维度深入剖析了内存对AI/ML系统的重要性。核心议题聚焦于DRAM及内存系统当前面临的挑战与未来机遇。随着AI/ML性能需求持续攀升，内存的地位变得愈发关键。

实际上，在探讨人工智能内存时，我们看到了对“以上所有”需求的强烈呼声，具体包括：

更大容量——模型规模巨大且增长迅猛。David 提到百度在其推荐系统中使用的嵌入表，容量高达10 TB。如此庞大的资产需要越来越多的DDR主内存容量来支撑。

更高带宽——由于需要移动的数据量极其庞大，我们看到所有DRAM类型都在不断追求更高的数据速率，以提供更充足的内存带宽。

更低延迟——速度需求的另一个侧面是降低延迟，从而避免处理器核心因等待数据而闲置。

更低功耗——遗憾的是，物理极限就在那里，功耗已成为人工智能系统的重要制约因素。对更高数据速率的需求正在推高功耗。为缓解这一问题，IO电压正在降低，但这会缩小电压裕度并增加出错概率，这使我们不得不关注……

更高可靠性——为应对在更高速度、更低电压及更小工艺几何下不断攀升的错误率，我们看到片上ECC和先进信号技术被越来越多地用于补偿。

讨论中另一个重要议题是人工智能领域新存储技术的挑战与机遇。新技术能带来诸多潜在好处，包括：

针对重点用例优化容量、带宽、延迟和功耗。人工智能是一个庞大且资金充裕的市场，这一组合足以推动新存储技术的发展。回顾历史，GDDR（为图形市场开发）、LPDDR（为移动市场开发）以及HBM（为包括AI在内的高带宽应用开发）正是为了满足那些传统技术无法应对的用例而诞生的。

CXL – CXL提供了大幅扩展内存容量和提升带宽的机会，同时还将内存类型从处理器中抽象出来。这使得CXL成为整合新内存技术的绝佳接口。其内存控制器在处理器与内存之间充当转换层，允许在本地连接的内存之后插入新的内存层级。

尽管针对特定用例的新内存类型对许多应用有益，但它们仍面临额外的挑战：

DRAM、片上SRAM和闪存在可预见的未来仍将继续存在，不要指望任何技术能完全取代它们。每年投入这些技术的研发和资本支出，加上数十年的高产量制造经验，使得短期内几乎不可能替代它们。任何新内存技术都必须与这些现有内存良好配合才能被采用。

人工智能部署的规模，以及开发新内存技术所伴随的风险，使得全新内存的采用变得困难。内存开发通常需要2-3年，但人工智能发展极快，很难预测未来需要的具体功能。赌注很高，依赖新技术的可用性及其风险不容小觑。

任何新技术的性能优势都必须足够显著，以抵消额外的成本和风险。考虑到对基础设施工程和部署团队的要求，这意味着新内存技术需要跨越一个非常高的门槛。

内存仍将是未来人工智能系统的关键推动因素。整个行业必须持续创新，为未来的系统提供更快、更有价值的人工智能，而业界也正在积极回应这一需求。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人工智能机器学习计算中的内存挑战解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题