感存算一体智能成像系统两种架构解析

感存算一体化智能视觉芯片：从原理到未来的专业解读

在人工智能时代，传统的计算机视觉系统正面临前所未有的挑战。你是否曾思考过，人眼为何几乎不消耗能量就能瞬间识别万物？而我们的摄像头和AI处理器却需要庞大的算力与电力支持？其中的奥秘，在于一种被称为“感存算一体化”的新型芯片技术。本文将为您全面剖析这一技术的内部架构、未来发展方向，以及它如何模仿甚至超越人眼，成为下一代AI硬件的核心。

编者按

人工智能视觉芯片是一种能够同时获取并处理图像的半导体芯片，这种芯片能够将获取的图像数据进行并行处理，最终输出处理结果。人工智能视觉芯片的目标是在传感器内部实现复杂的图像处理任务，包括图像识别与分类。

一、为何需要感存算一体化？从数据洪流到智能瓶颈

中国工程院罗毅院士研究团队在《Engineering》2022年第7期发表的《感存算一体化智能视觉芯片的展望》一文中指出，当前AI对系统计算能力和能量效率的要求达到了新的高度，传统的硬件架构已难以满足需求。

• 传统架构的局限： 目前的AI硬件系统大多遵循冯·诺依曼架构。首先通过传感器获取物理信号，然后将信号传输至计算中心，结合算法进行感知处理。
  • 例如，在图像处理中，电荷耦合器件（CCD）阵列和互补金属氧化物半导体（CMOS）阵列需要通过总线将图像数据串行传输至存储器和处理单元进行交互运算。
  • 在这种模式下，超过90%的图像数据是冗余且无用的，随着像素数量的快速增长，数据冗余量显著增加，给模数转换（ADC）和数据传输带来了严重负担。
• 人脑的启示： 人类的视觉系统（包含视觉皮层）是高度紧凑且高效的。视网膜上的数亿光敏神经元与预处理、控制神经元相连接，能够实现感光和信号预处理（如增强图像、提取特征等）。一旦光敏神经元检测到冗余信号，视觉系统会将其弱化，仅将关键信息传输至大脑皮层进行深度处理。

尽管当前的成像硬件系统在传感单元密度、响应时间和波长范围方面优于人类视觉系统，但在执行复杂AI任务时，它们的功耗和延时已成为不可忽视的问题。因此，受人类视觉系统的启发，部分研究尝试将一些处理任务转移至图像传感器内，从而实现原位计算，并减少数据传输。

二、核心架构：两种主流的智能视觉芯片方案

目前有两种主要的智能视觉芯片架构，它们试图在传感单元内或附近完成计算，以打破冯·诺依曼瓶颈。

这种架构的光电探测器被置于模拟存储器和计算单元中，以组成处理元件（PE），然后利用PE电路来实现原位传感功能，并处理传感器获得的模拟信号。

• 优势： 具有高度并行的处理速度。
• 挑战： 模拟存储器和计算单元占用了较大的面积，使得PE电路比传统传感单元大得多，这导致像素填充因子较低，并限制了成像分辨率。

由于较低的填充因子，视觉芯片难以采用原位传感和计算相结合的架构。相反，可以将像素阵列和处理电路物理分离，但仍保持片上并行连接，这使得二者可以根据系统要求进行独立设计和优化。

• 流程： 首先通过总线从像素阵列中获取传感数据（模拟），并转换成数字信号，然后在附近的处理单元内进行计算。
• 优势： 具有广域图像处理、高分辨率和大规模并行处理的优势，并且可以在数字处理电路中结合现有的AI算法（包括人工神经网络等）。

小提示： “架构一”更像是在每个像素点上内置一个小型计算机，速度极快但像素密度低；而“架构二”则是将像素阵列与计算模块分离，通过高速总线连接，更适合追求高分辨率和大规模集成的场景。

图1. 视觉芯片架构。（a）传感单元内部计算；（b）传感单元附近计算。CDS：双精度采样。

三、未来展望：迈向大规模集成与商业化

目前，视觉芯片的神经元规模只有10²~10³个，远少于视网膜和皮层（10¹⁰个）。因此，感存算一体化智能视觉芯片需要更大规模的集成。未来的发展方向主要集中在以下几个方面：

1. 与算法匹配的架构

深度学习算法（如DNN、CNN、SNN等）是目前较为成熟的图像处理技术，而如何将其应用于感存算一体化智能成像系统是一个亟待解决的难题。其中，脉冲神经网络（SNN）通过对时间并行编码的神经信号进行编码和处理，为提高计算效率提供了一种很有前景的解决方案。

2. 3D集成技术

一种方法是采用三维（3D）集成技术，使用硅通孔（TSV）垂直集成空间中的功能层（传感器、存储器、计算、通信等）。2017年，索尼提出了一种3D集成视觉芯片，像素分辨率为1296×976，处理速度达到1000 fps。部分研究人员认为，3D集成芯片已经成为一种必然趋势。

• 挑战： 在架构设计和引线互连等方面仍然需要更深入的研究。虽然短互连可以降低功耗和延迟，但由于层间距离较短可能会导致散热难题。

3. 新型材料和先进器件

近些年来，在AI发展需求的驱动下，涉及新型材料和先进器件的技术不断涌现，也为感存算一体化智能成像系统提供了新方案。

光电突触器件被视为构建感存算一体化智能成像系统的一种方式，并有望促进视网膜仿生技术的发展。

• 优势： 提供了一种非接触式的写入方法（光写入），权重写入过程具有高速并行的特点。研究发现，一些金属氧化物（氧化物半导体、二元氧化物等）、氧化物异质结和二维（2D）材料在实现光电突触器件方面有巨大的潜力。
• 原理： 器件的电导在光脉冲作用下逐渐增加（增强突触活性），而在负电脉冲作用下则逐渐减小（抑制突触活性），这类似于生物突触中的增强和抑制。
• 挑战： 脉冲写入下电导非线性变化，以及由于较大的照明强度而导致的高能耗。此外，目前大多数研究侧重于在器件中模拟突触行为（如兴奋性突触后电流（EPSC）、成对脉冲易化（PPF）、STP、LTP等），因为模仿人眼视网膜神经元仍然是一大挑战。

近些年来，随着半导体器件的发展，部分研究提出采用先进器件代替PE电路，如新型存储器件[如阻变存储器（RRAM）和其他忆阻器等。

• 优势： 将单个像素的占地面积显著降低到4F²（F是工艺的特征尺寸）的理论极限，可以实现高填充因子的集成方式。乘加运算（MAC）可以通过模拟域中的基尔霍夫定律直接实现。
• 挑战： 大规模集成引起的串扰是一个亟待解决的问题。

常见问题与解答

问：感存算一体化芯片与普通的AI加速芯片（如GPU）有何本质区别？

答： 根本区别在于 数据搬移。传统的GPU或AI芯片遵循冯·诺依曼架构，需要将海量的原始图像数据从传感器搬移到内存，再搬移到计算单元，这个过程中消耗了大量能量和时间。而感存算一体化芯片（如文中提到的“传感单元内部计算”）则直接在传感器内部或极近端完成特征提取，大幅减少了数据搬移量和能耗。

问：光电突触器件虽然先进，但如何解决大规模集成时的串扰问题？

答： 这是一个非常现实的问题。文中有研究报道了采用单光子雪崩二极管（SPAD）和忆阻器组成的系统来处理脉冲事件信息。此外，通过优化电路设计、采用更先进的制造工艺（如3D集成技术中的TSV隔离）以及开发与硬件同步的“抗串扰”算法，是目前研究和解决串扰问题的几个主要方向。

问：感存算一体化商业化需要多久？

答： 从文中可以看出，虽然前景广阔，但商业化的道路依然漫长。文章明确指出，为了将感存算一体化智能成像系统商业化，需要在物理学、材料学、计算机科学、电子学和生物学等领域进行更深入的研究。这意味着一项高度交叉的工程，不仅需要硬件上的突破（如3D集成、新型材料），还需要配套的软件算法（如SNN算法以及可编程架构）的成熟。乐观估计，在部分特定领域（如低功耗AIoT边缘设备）可能在未来5-10年内看到商业化产品，但全面替代传统方案仍需更长时间。

总结

感存算一体化智能成像系统的最终目标是实现更高效的AI硬件，该硬件系统具有低功耗、高速、高分辨率、高识别准确率和大规模集成的特点，同时具有可编程性。通过融合“传感单元内/附近计算”的架构、3D集成技术以及新型材料（如DAM和结合传感与存储的器件），我们正在一步步接近人眼级的智能感知系统。未来，这一技术将在自动驾驶、机器人视觉、安防监控、医学影像等需要实时、低功耗处理的领域发挥至关重要的作用。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：感存算一体智能成像系统两种架构解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题