AMD AI PC每秒100tokens推理30B参数模型

随着AI技术的迅猛发展，从去年起，部署在云端的AI模型已逐渐难以满足硬核用户的需求。正是在这样的背景下，一个全新的理念——AI PC——应运而生，成为业界关注的焦点。

所谓AI PC，是指集成了个人大模型的电脑。它具备更强的算力、更充裕的存储空间，以及更为流畅的自然语言交互能力。其核心特征非常明确：由CPU、GPU和NPU构成的本地混合计算架构，既能独立运行，也能与家庭或企业主机协同工作。

不过坦白说，受硬件条件制约，AI PC在AI方面的表现一直算不上惊艳。这也不难理解——毕竟个人电脑的硬件资源有限，怎能与动辄成百上千张显卡堆叠而成的云端大模型相提并论？

但这并不妨碍各大厂商对未来展开美好想象。近期，AMD便放出重磅消息，对外公布了一份关于未来AI PC的硬核技术路线图：

未来的AI PC，将以每秒100个token的速度，流畅运行300亿参数的大语言模型。

30B参数与100token/s，究竟意味着什么？

AMD对未来设定的目标是：每秒100个token处理300亿参数模型，首个token的延迟控制在100毫秒以内。而目前我们能做到的水平不过是70亿参数、每秒20个token，首个token延迟在1到4秒之间。两者之间的差距一目了然。

• 300亿参数 vs 70亿参数：这意味着模型能够学习更复杂、更丰富的特征，输出更精准、更细致的预测或生成结果——好比一位学识渊博的专家。当然，与云端大模型相比（如Meta的Llama 3据说有4050亿参数，GPT-4非官方估算约1.8万亿），300亿确实显得“小巧”。但别忘了，这些参数全部本地化运行在一台个人电脑上，而非依赖成千上万台云服务器，这本身就是一次巨大的跨越。
• 每秒100个token vs 每秒20个token：处理速度直接提升5倍。听起来好像没那么震撼？但考虑到每个token背后复杂的数学计算，这实际上是极其惊人的性能飞跃。效率的大幅提升，意味着AI PC能更快完成任务，日常工作流将变得流畅许多。
• 首个token延迟从1~4秒降低到100毫秒：这一进步对于需要即时响应的应用场景——比如自动驾驶、实时对话系统——至关重要。可以说，从“卡顿”到“丝滑”，就差这短短的1秒多。

硬件不能拖后腿

要实现这个目标（同时要求首个token延迟100毫秒），远没有听上去那么简单。软硬件两端都必须做到极致优化。AMD上个月在ComputeX上发布的Ryzen AI 300系列Strix Point处理器，已经能以4位精度运行约70亿参数的大语言模型，但速度仅为每秒20个token，首个token延迟在1~4秒之间。

AMD的目标是从70亿参数/每秒20token，跃升到300亿参数/每秒100token。要达成这一性能指标，可不是简单地在电脑里塞进一个更大的NPU就能解决的。更高的TOPS或FLOPS固然有帮助（尤其在降低首个token延迟方面），但关键的瓶颈其实在于内存容量和带宽——这是本地运行大语言模型时最棘手的障碍。

具体来看，Strix Point上的LLM性能在很大程度上受限于其128位内存总线。搭配LPDDR5x时，根据内存速度的不同，带宽大约在120~135 GBps之间。

粗略估算：一个真正的300亿参数模型，量化到4位，需要消耗约15GB内存，而要达到每秒100token，带宽需求将超过1.5 TBps。作为参考，这个带宽大致相当于配备HBM2的40GB Nvidia A100 PCIe卡，但功耗却要高出一大截。

这意味着，如果不从模型层面进行优化来降低资源需求，AMD未来的SoC必须配备更快、容量更大的LPDDR才能达标。这就像给赛车换上了更强劲的引擎，但轮胎和刹车也得跟上节奏，才能在赛道上极速飞驰。

内存与带宽的“破局之道”

要解决内存带宽挑战，有几条路可以尝试。比如用高带宽内存（HBM）替代LPDDR5——但代价是成本和功耗双双飙升。

AMD的Subramony给出了另一种思路：“如果我们无法达到300亿参数规模的模型，那就需要找到一种能提供同等精度的方法。这意味着在训练过程中做出改进，首先尝试让模型变得更小。”

别急着叹气。好消息是，确实存在一些可行的方案，具体取决于你更看重内存带宽还是容量。

一条潜在路径：使用类似Mistral AI的Mixtral那样的MoE（混合专家）模型。 MoE本质上是一组较小的模型相互协作。完整的MoE会被加载到内存中，但只有其中一个子模型处于活跃状态，因此与同等规模的单体模型相比，内存带宽需求会大幅降低。举个例子：一个由六个50亿参数模型组成的MoE，在4位精度下，只需略超250 GBps的带宽就能达到每秒100token的目标。

另一条路：推测性解码。 这是一个由小型轻量级模型生成草稿，然后交给更大模型来纠正错误的过程。AMD表示，这种方法可以显著提升性能，但并未解决大模型需要大量内存这个根本问题。

目前，大多数模型使用brain float 16或FP16数据类型训练，每个参数消耗2字节。这意味着一个300亿参数模型以原生精度运行需要60GB内存——对绝大多数人来说显然不现实。因此模型通常会被量化到8位或4位精度。这样会牺牲一些精度，增加产生幻觉的风险，但能把内存占用减少到最多四分之一。据我们所知，AMD正是用这种方法让一个70亿参数模型以大约每秒20token的速度运行。这就像给一辆大卡车换上更轻的车斗——虽然跑不过赛车，但至少更省油了。

一种折中方案

作为折中，AMD从Strix Point开始，在XDNA 2 NPU中支持了Block FP16数据类型。名字听起来很高级，其实每个参数仅需9位——因为它能取八个浮点数值并使用一个共享指数。据AMD称，这种格式的精度与原生FP16几乎无法区分，而占用的空间只比Int8稍多一点。

更重要的是，这种格式无需重新训练模型就能直接利用，现有的BF16和FP16模型无需量化步骤就能跑起来。

但除非普通笔记本开始配备48GB或更多内存——短期内显然不现实——否则AMD还是得找到更好的方法来缩小模型的体积。

不难想象，未来AMD的NPU和集成图形处理器可能会增加对更小块浮点格式（如MXFP6或MXFP4）的支持——AMD的CDNA GPU已经支持FP8，而CDNA 4将支持FP4。

无论如何，随着AI从云端“逃脱”并在你的设备上“安家落户”，未来几年的PC硬件恐怕会迎来翻天覆地的变化。看来，我们的电脑不仅要变得更聪明，还得变得更“苗条”才行啊。

未来已来

前不久的AMD Tech Day上，AMD向世界分享了更多技术细节和阶段成果。Ryzen AI 300内置第三代Ryzen AI引擎，NPU算力高达50TOPS，总算力高达80TOPS，可以完美支持微软Recall AI功能、视频特效与实时翻译、Co-Creator合作设计等。

会上AMD还发布了AMUSE 2.0 Beta，一款与Ryzen AI 300处理器搭配的AI图片生成工具。它不仅支持常规的文生图、图生图，还支持“画生图”。目前已经宣称支持搭载Ryzen AI 300的ASUS Zenbook S16的触控笔。

此外，过去一年里AMD已经投入超过1.25亿美元，连续投资了十几家AI公司，还收购了Silo AI、Mipsology和Nod.ai。可以说，有了更好技术加持的AMD，未来给我们带来的AI体验值得期待。不知道屏幕前的你，是否已经开始盘算着攒钱换电脑了？

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AMD AI PC每秒100tokens推理30B参数模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题