AI芯片市场现状与核心难点解析

如果要为最近这波芯片潮找一个先驱，AI芯片当之无愧。

说到AI芯片，就不能不提它那个当之无愧的“先驱”名号。毕竟，当GPU在人工智能领域找到了巨大的增长空间之后，整个深度学习圈的目光都开始转向——大家都在琢磨，DSA（领域专用架构）在AI应用上到底能不能落地。但这些年试下来，不少从业者发现，现实比预想中要复杂得多，AI落地的挑战也比表面看起来要大得多。

最近，我们和一位从2016年就开始做AI芯片的行业老兵李丰（化名）聊了聊。他作为深度参与者，分享了不少对这个行业现状和未来的看法，其中有些观点颇有启发性。

AI芯片市场现状

华尔街日报在今年三月份的一篇报道中，引用市场研究公司PitchBook Data Inc的数据称，2021年，AI芯片初创公司通过170笔交易获得了约99亿美元的风险投资——这个数字是2020年同类公司融资总额的三倍多。这些公司覆盖的领域不局限于AI芯片本身，还涉及旨在优化AI和机器学习模型的智能传感器、设备以及算法。

知名分析机构Gartner的数据也印证了这一热度：全球有超过50家公司正在专门为AI制造芯片。预计今年用于执行AI任务的芯片销售额将达到443亿美元，到2025年有望攀升至768亿美元。不过，IDC计算半导体研究副总裁Shane Rau的话也值得玩味——他指出，目前大多数AI芯片初创公司其实是靠投资人的钱而不是自身销售额在运营，因此并未受到更广泛市场力量的影响。

把这些信息综合起来看，正如文章开头所说，大多数AI芯片公司可能还处在产业发展的混沌期。放眼市场，大家能看到的AI应用场景其实并不多，智慧安防算是其中之一。但在其他众多领域，虽然大家都盼着AI能快速下沉、放量，现实却是“事与愿违”。

当被问及AI芯片这波热潮的驱动力时，李丰举了个例子来说明背后的逻辑。他提到，在深度学习的早期端侧加速方案中，SIMD DSP（单指令多数据流数字信号处理器）曾经很常见，比如多家公司集成CEVA XM4/XM6的芯片方案。XM4/XM6这类SIMD DSP的特点决定了它们能当“万金油”，但用在特定领域时，又发现不是最合适的选择。于是，市场上很快就出现了专用的AI加速芯片。从更大视角来看，这正是整个AI芯片产业蓬勃发展的一个典型缩影。

然而，这片繁荣之下也有乱象。李丰坦言，AI芯片市场过去几年出现了不少问题，其中最典型的就是“实际算力与纸面算力不符”。这背后的原因，恰恰是前面提到的运算单元实际利用率问题。在他看来，类似现象在市场中随处可见。

“AI芯片市场的现状更多是卡在落地环节，特别是端侧落地。端侧应用太碎片化了，得根据场景定制AI模型，而训练模型又需要大数据，数据获取本身就是个大问题，”李丰接着说。他还指出，如果说在山寨手机时代，芯片原厂可以搞“turnkey”方案，那么到了AI时代，芯片原厂是有心无力——关键是，芯片原厂自己也没办法获取数据。与此同时，开发者社区和方案公司也都面临同样的困境，这直接导致整个AI应用开发的活跃程度其实并不算高。

“你看到的AI应用更多是围绕图像处理打转，也就是用AI去补足ISP（图像信号处理器）的功能。我不否认AI对图像处理有帮助，但这跟通常意义上的机器视觉应用是两码事。”李丰特别强调。

AI芯片难在哪里

说实话，可能不少人和李丰一样，在入局AI芯片时低估了其难度。作为在这个行当摸爬滚打多年的老兵，他总结了几点自己这些年对AI芯片的看法和一些核心挑战。

首先，李丰指出，AI是运算密集型应用，并行计算量很大。数据在运算单元和存储单元之间的传输非常频繁，而数据的流动正是产生功耗的主要原因。“因此，能耗效率（energy efficiency）就成了AI芯片的一个关键指标。SIMD DSP之所以被替代，一个重要原因就是这个指标不够好——另一个原因是SIMD的并行度依然不够高。”李丰解释道。

他进一步告诉记者，能耗效率的一个关键影响因素是访存（memory access）。因此，近年来产学界的大部分研究成果都围绕这件事展开，并总结出了AI芯片的三条设计原则：存储层次化（memory hierarchy）、数据复用（data reuse）、片上互连（interconnect）。这三条原则必须同时使用才能有效降低访存带来的负面影响。值得注意的是，选择不同的数据复用算法，又会对应不同的微架构。

“总体而言，AI芯片的硬件架构其实比较单纯。比如谷歌的TPU只有五条指令，其中两条是访存，另外三条是运算指令。可见，AI芯片硬件设计的重点，在于如何在提高计算并行度的同时，最大程度地降低访存，从而提升能耗效率。”李丰告诉记者。

不过，更棘手的难点往往集中在软件部分，也就是配套的工具链。这其中有两个工具至关重要：一个是编译器，另一个是量化工具。

先说编译器。就拿英伟达来说吧。就算没用过，大家也应该都知道，英伟达GPU之所以能在AI市场所向披靡，除了领先的性能之外，那套砸了重金打造的CUDA生态也是不可或缺的关键一环。按照东吴证券的报告，GPU的微架构天生适合矩阵类并行计算，其能力远不止于显卡领域。21世纪早期，就有专业计算人员想用GPU做一些AI领域的并行计算。但在CUDA问世之前，想调用GPU的计算能力，得编写大量底层语言代码——这对主要用高级语言的程序员来说，简直就是噩梦。

正是在这个背景下，英伟达的Da vid Kirk主导推出了CUDA（统一计算架构）系统。这套专门针对英伟达GPU平台的定制计算体系，后来成了公司最坚固的堡垒。过去几年，不少AI芯片和GPGPU创业者在发布产品时，都会强调自己与CUDA的兼容性——这足以证明一个好编译器的价值。根据英伟达在GTC 2022上公布的数据，CUDA平台自2008年推出以来，已经下载了超过3300万次，仅2021年就有800万次下载，三年内增长了3倍。

李丰也指出，编译器本身不是新技术，但基于并行计算的编译器目前还谈不上成熟。运算单元利用率在很大程度上取决于编译器的水平——换句话说，就算硬件在理论上实现了足够高的并行度，但如果编译器不给力，实际能调用的运算单元达不到要求，最终体现在外部的可能就是“算力不够”。

“再说量化技术，现在真是五花八门、多种流派并存。量化手段的多样性虽然给用户带来了多种选择，但问题是似乎没有哪个流派能够最终胜出。这给跨平台的开发和移植带来了不小的麻烦。”李丰告诉记者。他最后特别强调：“这两个工具就是AI芯片的难点——能把这俩做好，真的不容易！”

AI芯片何去何从

虽然困难重重，但人工智能是大势所趋，AI芯片也是必然需求。对于从业者来说，最关键的问题是：未来的AI芯片会走向何方？

李丰回应道，这很大程度取决于AI算法本身的演进。他分析道，目前CNN（卷积神经网络）和transformer两种算法架构共存。单从硬件角度看，这两种运算类型完全不同：前者是卷积运算，后者是矩阵乘法，对硬件设计的要求也截然不同。

“处理卷积运算时，专用硬件确实有发挥空间，或者说存在创新机会。但处理矩阵乘法运算时，是否一定要用专用硬件还是个未知数——因为通用处理器应对这类运算已经足够成熟了。”李丰表示。

他同时重申，在数据中心（IDC）市场，GPU架构已经是事实标准，其他架构很难撼动。尤其是专用硬件，在云计算领域基本上没有机会。“在端侧市场，如果transformer最终胜出，那就不排除会出现将算法直接硬件化的芯片。这跟我们近年来提出的DSA（领域专用翻跟斗）概念也是契合的。”李丰补充道。

李丰还聊到了近年来火热的“存内计算”概念在AI市场的机遇。他指出，这些年比较火的存内计算和神经形态计算（neuromorphic processing）都可以归入模拟计算（analog computing）领域。存内计算在AI领域的兴起主要源于三个原因：第一，访存问题，也就是所谓的“存储墙”问题；第二，量化精度进入Int8时代；第三，AI在本质上属于近似计算。这三个条件共同推动了存内计算在AI领域的出现。

“但这里存在一个核心问题：与模拟计算整体配套的软件开发环境并不成熟。换句话说，虽然在硬件层面是模拟计算，或者说是非冯·诺依曼架构，但软件依然被迫与冯·诺依曼架构兼容——否则开发者根本没法用。这其实是一个非常严重的问题。”李丰告诉记者。“说得通俗一点，像存内计算或神经形态计算这种模拟计算，应该有属于自己的软件开发流程和方法学。但现在还没有，而且什么时候能有，也不清楚。”他解释道。

在李丰看来，在目前这个过渡时期，模拟计算或存内计算的优势相对有限。一个有力的证据是，这类芯片中存在大量的ADC/DAC（模数/数模转换器）用于数模转换，而这些ADC/DAC对芯片整体指标的影响是显而易见的。

他用了一个生动的比喻来总结：“这就像给苏炳添穿上紧身皮裤——从此再无9秒83。”

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AI芯片市场现状与核心难点解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题