从FPGA硬件说起深度学习核心原理与实现详解

本教程延续上一篇文章，继续实现深度学习推理中的三大核心层：全连接层、池化层与ReLU激活函数，同时初步介绍如何借助Vivado HLS完成硬件电路生成。以下是各层的实现细节与解析。

1. 全连接层实现详解

全连接层的计算流程非常直观：输入向量x与权重矩阵weight相乘，然后加上偏置向量bias。下图清晰演示了这一运算过程：

实现代码

void linear(const float *x, const float* weight, const float* bias,
            int64_t in_features, int64_t out_features, float *y) {
  for (int64_t i = 0; i < out_features; ++i) {
    float sum = 0.f;
    for (int64_t j = 0; j < in_features; ++j) {
      sum += x[j] * weight[i * in_features + j];
    }
    y[i] = sum + bias[i];
  }
}

接口定义与内存布局

为确保后续可直接对接PyTorch模型参数，本实现将内存布局与PyTorch保持一致。具体接口如下：

• 输入
  • x: 输入特征向量，shape = (in_features)
  • weight: 权重矩阵，shape = (out_features, in_features)
  • bias: 偏置向量，shape = (out_features)
• 输出
  • y: 输出向量，shape = (out_features)
• 参数
  • in_features: 输入维度
  • out_features: 输出维度

性能与内存考量

全连接层内部的操作次数为out_channels × in_channels，在典型配置下通常远小于卷积层。但权重参数所需的内存空间却显著大于卷积层。

以卷积层为例，其权重形状为(out_channels, in_channels, ksize, ksize)，而全连接层的权重形状则为(out_features, in_features)。从卷积层过渡到全连接层时，通常in_features = channels × width × height。由于width和height远大于卷积核尺寸ksize，全连接层的参数内存占用往往远超卷积层。

FPGA芯片内部集成大量SRAM缓冲区，非常适合于处理大数据量访问和高复用性场景。尽管单次全连接层的权重数据复用率较低，但在视频处理等持续推理任务中，由于需要多次执行全连接运算，SRAM的缓冲能力便成为明显优势。

注意： 在边缘设备中部署小型FPGA时，可能遇到SRAM容量不足而需访问外部DRAM的情况。若外部内存带宽充足，可直接访问；否则，建议在训练后对模型进行剪枝或量化，以降低参数规模。

2. 池化层实现

池化层的主要功能是缩小输入特征图的空间尺寸。本教程采用2×2最大池化（MaxPooling），即对输入图像中每个2×2区域取最大值，作为输出图像对应位置的像素值。过程如下图所示：

池化操作独立作用于每个通道，因此输入通道数与输出通道数保持一致。

实现代码

void maxpool2d(const float *x, int32_t width, int32_t height, int32_t channels, int32_t stride, float *y) {
  for (int ch = 0; ch < channels; ++ch) {
    for (int32_t h = 0; h < height; h += stride) {
      for (int32_t w = 0; w < width; w += stride) {
        float maxval = -FLT_MAX;
        for (int bh = 0; bh < stride; ++bh) {
          for (int bw = 0; bw < stride; ++bw) {
            maxval = std::max(maxval, x[(ch * height + h + bh) * width + w + bw]);
          }
        }
        y[(ch * (height / stride) + (h / stride)) * (width / stride) + w / stride] = maxval;
      }
    }
  }
}

接口参数说明

• 输入
  • x: 输入图像数据，shape = (channels, height, width)
• 输出
  • y: 输出图像数据，shape = (channels, height/stride, width/stride)
• 参数
  • width: 图像宽度
  • height: 图像高度
  • stride: 缩减倍数（本例中为 2）

提示： 当前实现未包含边缘填充处理，因此要求输入图像的宽度和高度均可被步长stride整除。若实际图片不满足此条件，请在调用前手动添加填充或修改函数以支持边缘处理。

3. ReLU激活函数实现

ReLU（修正线性单元）函数极为简洁：将所有负数值置为零。实现代码如下：

void relu(const float *x, int64_t size, float *y) {
  for (int64_t i = 0; i < size; ++i) {
    y[i] = std::max(x[i], .0f);
  }
}

由于每个元素的计算相互独立，x与y的内存布局无需特殊规定，仅需确保两者长度相同即可。

4. 硬件电路生成与性能分析

上述各层代码已逐层验证，输出与libtorch一致，并通过了Vivado HLS的RTL仿真。接下来简要说明实际生成硬件电路的关键注意事项。

将函数适配为HLS可综合形式

直接将原始的linear函数导入Vivado HLS会引发错误。须将输入输出改为固定大小的数组指针，并将in_features和out_features设为常量值。示例如下：

static const std::size_t kMaxSize = 65536;
void linear_hls(const float x[kMaxSize], const float weight[kMaxSize],
                 const float bias[kMaxSize], float y[kMaxSize]) {
  dnnk::linear(x, weight, bias, 7*7*8, 32, y);
}

此处in_features=392（即7×7×8），out_features=32。将循环边界固定为常量，可防止HLS因循环次数可变而生成低效电路。

综合报告关键指标解读

综合报告中的Timing → Summary显示工作时钟周期为5.00 ns（对应200 MHz）。重点关注Latency → Summary：该全连接层单次计算的总延迟为0.566 ms。

在Latency → Detail → Loop部分，列出了每个循环的迭代延迟（Iteration Latency）与循环次数（Trip Count）。例如，外层循环Loop 1（out_features循环）包含内层循环Loop 1.1（in_features循环）。内层循环执行sum += x[j] * weight[i * in_features + j]需9个时钟周期。

借助HLS的Schedule Viewer可更精细地观察各操作的时间分布：从第2到第10周期，依次为加载x与权重（2周期）、乘法fmul（3周期）、加法fadd（4周期），共计9个周期。

性能优化方向（供参考）

通过插入#pragma HLS pipeline等指令可大幅提高性能，具体包括：

• 流水线技术：将迭代延迟降至最低1个周期
• 并行化处理：减少循环次数甚至消除循环嵌套

本系列教程聚焦于FPGA推理实现，暂不深入上述优化。感兴趣的用户可参考下列资源：

• 教程：Xilinx HLS-Tiny-Tutorials
• 官方文档：ug902-vivado-high-level-synthesis.pdf

该函数的接口示意图如下（数组接口如x_等对应于FPGA上支持单周期读写的BRAM/Distributed RAM）：

常见问题解答

Q1: 全连接层参数内存为何通常大于卷积层？

卷积层通过空间局部性（小卷积核）有效压缩参数量，而全连接层的每个输出神经元与所有输入神经元全连接，因此权重矩阵规模为out_features × in_features，极为庞大。尤其是在从卷积层过渡到全连接层时，in_features包含了各通道的宽高乘积，导致参数数量急剧上升。

Q2: HLS中为何必须将in_features和out_features设为常量？

Vivado HLS在综合时，若循环边界为变量，会生成对应控制逻辑，但可能降低电路性能（例如使用可变长度计数器）。将边界固定为常量，可使HLS生成更高效的固定循环展开电路，从而节省资源并提高运行速度。

Q3: 池化层对输入图像尺寸有何限制？

本教程实现的maxpool2d未包含边缘填充功能，因此输入图像的宽度和高度必须能被步长stride整除（例如stride=2时，宽高需为偶数）。若遇到无法整除的情况，可在调用前手动进行填充，或修改函数代码增加边界处理逻辑。

总结与展望

本文实现了全连接层、2×2最大池化层以及ReLU激活函数，并验证了各层与libtorch的输出一致性。同时，我们学习了如何将C代码适配为HLS可综合形式，并解析了综合报告中的关键性能指标。在下一篇文章中，我们将组合这些层构建完整的推理网络，并在FPGA上运行MNIST数据集进行验证。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：从FPGA硬件说起深度学习核心原理与实现详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题