人工智能发展与国产FPAI芯片研究方向

在聊国产FPAI芯片之前，我们先来回顾一下2023年最热门的技术话题——ChatGPT。它的横空出世，可以说是把整个人工智能技术推向了一个全新的高度。NVidia赚得盆满钵满，背后核心原因其实很简单：AI的爆发离不开算力，而算力又离不开芯片。今天这篇文章，就顺着这条线，从ChatGPT聊起，一路谈到后摩尔时代的挑战，最后落脚到国产FPAI芯片的最新研究方向上。

ChatGPT与后摩尔时代

2023年，人工智能领域发生了一件里程碑式的事件：OpenAI发布了基于大型语言模型的聊天机器人ChatGPT。这是一个能响应人类指令、完成从写文章、做数学题到调试代码等多种任务的产品。它的发布刷新了大众对AI的认知，也标志着生成式AI商业化进程的正式启动。这不仅改变了AI研发的方式，更对整个社会产生了深远影响。

不过，人工智能并不是一项新兴技术。它的历史可以追溯到20世纪60年代，在半个多世纪的发展中，经历了符号主义、连接主义和行为主义三次浪潮的交织与演进。到了今天，业内基本达成了一个共识：人工智能 = 深度学习 + 大规模计算 + 大数据。

深度学习是一种特殊的机器学习，它需要海量数据作为基础，通过“训练”来获得各种参数（也就是模型），然后用训练好的模型去进行推理，最终得到结果。模型的参数越多，训练和推理所需的算力就越大。随着深度学习的发展，AI领域对算力的需求正以每年超过10倍的速度增长。举个例子，ChatGPT初版基于的大模型GPT-3，是一个拥有1750亿个参数的巨型模型；而最新版基于的GPT-4，参数量传闻已经达到了1.76万亿。

人工智能的实现需要算力，算力的实现则需要芯片来支撑——这是AI技术发展和产业化的关键。回到GPT-3：1750亿参数、1000亿词汇的语料库，需要1000块英伟达A100 GPU训练整整一个月，这足以说明问题。

2023年，芯片领域同样发生了一件大事。3月24日，摩尔定律的提出者——戈登·摩尔先生与世长辞，享年94岁。早在1965年，摩尔就对集成电路的发展做出了一个著名的预测：集成电路上可容纳的晶体管数量，大约每18到24个月便会增加一倍，也就是处理器的性能大约每两年翻一番，同时价格降为原来的一半。这就是被后人称为“摩尔定律”的经典论断。

严格来讲，摩尔定律并不是一条物理定律，而是摩尔对自己观察到趋势的归纳总结。但在提出后的半个世纪里，它成功预测了集成电路的发展轨迹。以英特尔为例，从1971年到2008年，微处理器芯片上最大晶体管数量每两年翻一番，特征尺寸以每年15%的幅度缩减，每5年缩减一半。受益于特征尺寸的缩小，即使硬件架构不变，时钟频率也能大幅提升。同样以英特尔为例，从1990年到2002年，其微处理器时钟频率不到两年就翻了一番——这其中当然也包含了架构升级带来的贡献。

如果照这个趋势走下去，那么2008年时，处理器的时钟频率就能冲到30GHz。但现实是，2002年之后，英特尔处理器时钟频率的增长就开始放缓，并在2005年彻底见顶。2004年11月，英特尔宣布取消4GHz奔腾处理器的计划，转而研究多核架构。

摩尔定律为集成电路的发展描绘了一个美好的蓝图，但由于物理效应、功耗等多方面的限制，这条定律不可能一直延续下去。物理效应方面，随着工艺节点一步步缩小，晶体管的尺寸已经逼近原子尺度。量子隧穿效应、噪声效应都会影响晶体管的正常工作。比如，当闸极长度足够短时，就会发生量子隧穿效应，导致漏电流增加，功耗和温度随之上升。此外，晶体管中原子的数量越来越少，杂质涨落、界面粗糙度、晶格不匹配等因素，也会造成不同晶体管之间的性能差异。

功耗方面的问题同样突出。随着集成度的提高，芯片上的晶体管数量和时钟频率都在增加，导致功耗和散热问题变得愈发严重。功耗主要包括静态功耗和动态功耗两部分：静态功耗来自晶体管关闭状态下依然存在的漏电流，与量子隧穿效应有关；动态功耗则来自晶体管开关状态下的电容充放电，与时钟频率和电压直接相关。

经济效益也是不得不考虑的因素。工艺节点越先进，制造芯片所需的设备、材料和人力成本就越高，这直接影响芯片的价格和市场竞争力。

在摩尔先生去世之前十几年，业界就已经意识到，摩尔定律的发展正在放缓，甚至可能被打破。于是，“后摩尔时代”这个概念被提了出来，目的是为集成电路寻找新的技术路线。目前，业界主要提出了四类发展方向：延续摩尔、扩展摩尔、超越摩尔和丰富摩尔。

既然芯片时钟频率无法继续提升，处理器设计就逐渐从单核超频转向了多核并行。通过提供多个相同的核心，将计算任务分解到不同的核心上同时计算，从而提升处理性能。但问题在于，处理器面临的场景和任务越来越复杂，不同任务对性能和功耗的要求也不尽相同。没有任何一种处理器架构能通吃所有场景，于是，多核处理器又从同构走向了异构——核心采用不同架构，有的侧重高性能、有的侧重低功耗，有的通用、有的专用。

后摩尔时代下的AI芯片

正如前面所说，以ChatGPT为代表的AI应用，需要极大的算力支撑。算力是人工智能三大要素之一，而它的实现离不开AI芯片。从广义上讲，所有面向AI应用的芯片都能叫AI芯片，但更常见的定义是：针对AI算法做了特殊加速设计的芯片。

深度学习需要极高的并行计算能力，CPU的架构往往难以满足这种高性能并行计算的诉求，因此，发展适合AI算法的专属芯片就成了必然。目前常见的AI加速芯片，按技术路线可分为三类：GPU、FPGA和ASIC。

• GPU：由数千个更小、更高效的核心组成大规模并行计算架构，非常适合大量并行计算。
• FPGA：半定制芯片，灵活性强、集成度高，但运算量相对较小、量产成本高，适用于算法更新频繁的专用领域。
• ASIC：领域专用芯片，专用性极强，开发周期长、难度高，适合市场需求量大的专用领域。

下面这张表格更详细地对比了三者的优缺点：

虽然CPU的架构无法满足AI算法的性能要求，不能作为AI专用芯片，但在实际AI应用场景中，CPU的参与几乎是不可或缺的。为什么？因为CPU具备其他AI专用芯片没有的通用处理能力，而AI应用中，数据的前处理、计算过程的流程控制、计算结果的后处理等，都需要CPU来搞定。

在这个背景下，后摩尔时代的处理器设计，多核异构成了主流方向——各个处理单元各自发挥所长，相互配合完成计算。AI处理器作为后摩尔时代芯片设计的代表，自然也采用了这种异构多核的设计方式。不同AI处理器面向的场景不同，具体的异构方案也各不相同。

以边缘端的AI处理器为例，这类场景需要低功耗、高性能以及数据处理的实时性。传统的SoC设计加上专用的AI处理器（ASIC）是一个不错的选择：SoC中的CPU和外设分别提供通用处理和IO交互能力，专用AI处理器则为AI算法进行加速。两者结合，能够在AI计算场景中兼顾高性能和低功耗。

但美中不足的是，AI专用处理器虽然性能高，灵活性却不够。它所支持的算法在设计完成时就已确定，后期很难灵活添加新功能。而AI算法的发展日新月异，新算子层出不穷，单靠AI专用处理器恐怕难以招架。

如果在这个系统中再添加一片FPGA，灵活性将得到极大提升。遇到不支持的算法或满足不了的IO性能需求时，只需通过FPGA的可编程逻辑进行现场定制开发，问题就能迎刃而解。

FPAI = FPGA + SoC + AI

针对边缘端的AI处理器，采用FPGA、SoC和专用AI处理器相结合的设计，就能兼顾通用性、灵活性和能效。我们可以把这种架构命名为FPAI，公式就是：FPAI = FPGA + SoC + AI。

这个方案虽然好，但FPGA的集成会带来较大的设计和生产难度。好在，国内已经有一家厂商敢为人先，率先推出了采用FPAI架构的AI处理器。其芯片架构如下图所示：

这款芯片主要包含三部分：

• 处理器系统：对应FPAI架构中的SoC，主要包含多核CPU/GPU/VPU等处理器、总线、存储单元、通用接口和其他功能模块。
• AI引擎：对应FPAI架构中的AI专用处理器，包含矩阵处理引擎（MPE）、向量处理引擎（VPE）、片上存储和其他计算引擎。其中，MPE主要用于乘累加计算，核心是一个32×32的MAC阵列；VPE主要用于向量的线性计算，以及激活、池化等操作；片上存储用于缓存中间数据，缓解带宽压力。
• 可编程逻辑：对应FPAI架构中的FPGA，包含可编程逻辑资源（BRAM、LUT、DSP）、高速接口（GTH、ETH、PCIE）和DDR等。

这款AI处理器支持INT8和INT16两种计算精度，分别提供27.5TOPS和6.9TOPS的算力。运行Yolov5s网络，耗时6.28毫秒，浮点精度为0.568，量化后的INT8精度为0.547，INT16精度为0.561。

处理器的多核异构设计，会给编程带来不小的复杂度。因此，一款好用的AI处理器，不仅要有出色的性能和能效，还要提供便捷的编译器，让上层AI应用能够轻松部署到AI处理器上加速运行。上述FPAI架构的处理器，就配备了一款强大的AI编译器，名为“Icraft”。其整体架构如下：

Icraft主要由以下组件组成：

• 前端解析：将AI框架中的模型解析到Icraft的中间层，支持的前端框架包括Pytorch、Tensorflow、ONNX、Caffe、Darknet。
• 量化与优化：对从框架中解析出来的中间层网络进行量化，并执行一系列优化，逐步适配到AI处理器。
• 指令生成：将算子转换成AI引擎的指令序列。
• 仿真与运行：对中间层网络进行仿真，或者将编译好的网络部署到AI处理器上运行。
• 分析评估：对网络的运行速度、效率等情况进行分析评估，为性能优化提供参考依据。

特别值得一提的是，Icraft对FPAI架构中的FPGA部分提供了强大的支持。用户可以通过FPGA编程，定制自己需要的加速逻辑，并通过Icraft的自定义算子接口加入到编译流程中。这样一来，用户可以选择将任何算子通过FPGA编程进行加速，灵活满足不同场景的需求。由于篇幅限制，关于自定义算子的具体流程，我们后续会专门撰文介绍。

战术总结

这篇文章主要分享了后摩尔时代，处理器异构多核设计的重要性。同时，围绕边缘端AI处理器的设计，介绍了FPAI（FPGA + SoC + AI）架构的优势，并具体展示了一款已经上市的FPAI架构翻跟斗的硬件和软件设计方案。希望这些内容能为关注国产芯片和AI技术发展的朋友提供一些有价值的参考。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人工智能发展与国产FPAI芯片研究方向要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题