骁龙X2 Elite NPU算力揭秘：80 TOPS如何超越AMD与Intel

10月19日消息，高通近日正式发布新一代PC笔记本平台骁龙X2 Elite系列，其各项规格均实现了显著突破，比如CPU频率首次达到5GHz，NPU的AI算力也达到80+ TOPS的全新高度。

要知道，AMD和Intel新一代平台的NPU最高只达到50+ TOPS，这无疑让高通在业界脱颖而出。

高通技术公司产品管理副总裁Vinesh Sukumar在接受媒体采访时解释道，在设计骁龙X2 Elite之初，目标就是让AI算力比第一代骁龙X Elite翻倍，同时软件层面还能带来10-15%的性能提升。

至于为何需要如此高的NPU算力，首先是为了提升大模型首次Token生成的响应速度，这一过程非常依赖算力，更高的TOPS能够大幅降低首Token生成时延。

其次对于内容创作者而言同样如此，无论是图像生成还是视频生成，都对计算能力有着极高的要求，PC系统也需要更强大的计算能力，从而有效降低时延。

最后一点是为了支持音频、视频和文本等多任务并发处理，同样需要更多的TOPS算力支持。

随着手机端侧AI应用的发展，大模型的参数量、体积控制，以及内存的挑战，都是迫切需要解决的问题。

Vinesh Sukumar认为，高通和大多数OEM伙伴，包括整个生态系统，都在朝着30-400亿参数规模的模型发展，这不仅包括通用千问系列、微软Phi系列，甚至苹果的基础模型也都在30-500亿参数范围内，可以认为这是在边缘设备上真正推动丰富体验的最佳区间。

当然，可以有多个30亿参数的模型，但这只是一个起点。

针对手机内存问题，目前的解决方案就是模型量化，从16位整数运算转向8位整数运算，再从8位转向4位，现在高通与微软合作推出了全球首个INT2 2-bit模型。

INT2在带宽和内存占用方面具有明显优势，对比INT4可以节省约50%的带宽和内存占用，能够更好地支持大语言模型（LLM）、大视觉模型（LVM）等模型的运行。

INT2的落地需要软硬两个层面的支持，其中硬件层面由第五代骁龙8至尊版支持，而软件层面则包括编写专门的库、内核和运算符。

高通预计，随着更多数据类型的创新，可以支持更大规模的模型，同时减少内存占用。

比如说，一个700亿参数的模型在16位精度下大约占用14GB内存，使用INT4则是4GB，而INT2精度就只需要2GB。

当然，2-bit下的精度控制非常重要，但并不是每一层数据都是INT2精度，有的是INT2，有的是INT4，有的是INT8，各不相同，也就是通过支持混合精度以保持准确性。

如果这样做仍然有准确率损失，可以使用量化感知训练，重新训练模型，以确保将损失降到最低。

另外，无论是AI手机还是AI PC，很多人都在寻找所谓"杀手级应用"，但是在Vinesh Sukumar看来，高通有着不同的见解。

当前的AI已深度融入用户的日常应用，在影像、视频、音频等领域无处不在，甚至在用户毫无察觉的情况下自动工作。

高通始终在追求用AI解决下一个重大命题，以此作为奋斗目标，但是提高生产力、改善体验的每一小步，都是关键的一步，因为高通相信，只有从小处着手，才能实现稳健的成长。