RK3588边缘计算跑大模型需要多少算力

在边缘计算与嵌入式AI应用飞速发展的今天，瑞芯微RK3588平台凭借其强大的多媒体处理能力和6TOPS的NPU算力，已成为高端AIoT项目的首选之一。然而，面对日益复杂的大模型部署需求与高并发的视觉推理任务，单一的SoC算力往往显得捉襟见肘。

为此，瑞芯微推出了专为算力扩展设计的RK1820 AI加速卡。接下来，我们将以EASY-EAI的MONSTER（RK3588）开发板为例，提供一份从硬件对接到模型部署的完整适配指南，并对其性能进行实测分析，为开发者实现算力升级提供一条清晰的技术路径。

PART.01 核心硬件：RK1820加速卡与RK3588的协同架构

RK1820加速卡概览

RK1820是一款采用PCIe接口的独立AI加速卡，其核心设计目标非常明确：作为主控SoC的协处理器，专攻高强度、批量的AI推理任务。它的几个关键特性值得关注：

高密度算力：提供高达20 TOPS@INT8的峰值算力，足以应对大多数视觉大模型及十亿参数级别的语言模型。

大容量板载内存：集成2.5GB专用内存，能够将大型模型完全载入，避免频繁通过PCIe总线与主机交换数据，从而显著降低推理延迟。

标准接口：采用M.2 Key M接口，便于与具备PCIe通道的RK3588核心板或开发板快速集成。

RK3588 + RK1820的异构计算模式

在这个方案中，RK3588与RK1820构成了一个典型的异构计算系统，分工明确：

RK3588（主机）：负责运行完整的操作系统（如Ubuntu）、处理通用计算、多媒体编解码、系统调度以及轻量级或实时性要求高的AI任务。

RK1820（设备）：作为专用的AI推理翻跟斗，接收来自主机的推理任务和数据，利用其高并行计算单元完成高效处理，并将结果返回。

这种分工实现了计算资源的优化配置，使RK3588平台的能力边界得以大幅扩展。它尤其适合智能NVR（多路视频结构化分析）、服务机器人、边缘AI服务器，以及那些渴望在端侧运行大语言模型的创新场景。

PART.02 软硬件适配与驱动部署

以下适配流程基于EASY-EAI-MONSTER开发板及配套的软件包。

硬件连接与准备

所需硬件：EASY-EAI-MONSTER开发板、RK1820 M.2加速卡、12V/3A电源（为算力卡独立供电）。

关键连接顺序：务必先将RK1820加速卡插入主板的M.2插槽并连接好12V供电，然后再为开发板上电。这个顺序至关重要，它能确保PCIe设备能被系统正确识别和枚举。

软件基础：开发板需预先烧录适配后的固件（例如EASY-EAI-Monster-Ubuntu 22.04-firmware_20260407或更新版本）。

驱动安装与验证

将提供的适配套件rknn3_rk182x_sodimm_installer_arm64.tgz拷贝至开发板，并按顺序执行以下命令进行安装：

安装脚本将自动部署PCIe驱动（pcie-rkep）、用户态库及相关服务。

设备验证

重启系统后，可以通过以下几组命令来验证适配是否成功：

检查PCIe设备识别：执行lspci，在设备列表中应能看到“Rockchip Electronics Co., Ltd Device 182a”的信息。

检查驱动加载：执行dmesg | grep pcie-rkep，查看驱动加载日志，确认没有错误信息。

检查设备节点：执行ls -l /dev/pcie-rkep*，确认驱动已成功创建设备节点。

查看算力卡状态：执行rknn-smi info，这个命令能直接显示RK1820的详细信息，包括设备名称、算力利用率和内存使用情况，是验证加速卡是否就绪的最直观方式。

PART.03 模型部署与性能实测

适配成功后，就可以利用RKNN工具链将模型部署到RK1820上运行了。套件中提供了rknn3_model_test和rknn3_session_test两个测试程序，分别用于传统视觉模型和大语言模型的验证。

视觉模型测试（以YOLOv5s为例）

模型准备：使用RKNN-Toolkit2将训练好的YOLOv5s模型转换为RK1820支持的.rknn格式。

执行推理：将转换好的模型文件放到开发板上，运行以下命令：

性能指标：在实测中，YOLOv5s模型在RK1820上的单次推理耗时约为30.27毫秒，这个成绩充分展现了其处理实时视觉任务的高效能力。

大语言模型测试（以Qwen2.5-1.5B为例）

模型准备：需要准备转换后的Qwen2.5-1.5B模型文件（.rknn）、权重文件（.weight）、分词器文件（.tokenizer.gguf）和嵌入层文件（.embed.bin）。

执行推理：由于大模型运行通常需要独立的模型服务，需要先停止系统默认的rknpu服务，然后启动会话测试：

能力验证：此测试将启动一个交互式会话，开发者可以直接输入文本，模型将基于RK1820的算力进行生成式回复。这直观地验证了在边缘端部署并运行十亿参数级大模型的可行性。

PART.04 应用场景与开发建议

典型应用场景

多路高性能视频分析：利用RK3588强大的解码能力处理多路视频流，将解码后的画面数据通过PCIe总线发送给RK1820进行高精度、高并发的目标检测与识别。

边缘AI服务器：在局域网内部署，为多个终端提供低延迟的AI服务，例如智能客服、代码辅助、文档摘要等。

复杂环境下的机器人：同时处理激光雷达、视觉、语音等多模态传感器的输入，进行实时融合感知与决策。

开发建议

任务划分：将时延敏感、控制相关的轻量模型放在RK3588 NPU上运行；将计算密集、允许微秒级延迟的批量推理任务卸载到RK1820。合理的分工是发挥异构计算优势的关键。

数据传输优化：尽量减少主机与加速卡之间不必要的内存拷贝，可以探索利用零拷贝等技术来优化PCIe数据传输效率，这对提升整体性能至关重要。

功耗管理：在连续推理任务中，RK1820的功耗是需要考虑的因素。在间歇性工作场景，可以通过驱动接口灵活管理其工作状态，以实现性能与能效的最佳平衡。

通过上述适配，RK3588平台成功融合了RK1820加速卡的20TOPS算力，构建了一个总计超过26TOPS的强劲边缘AI系统。本次实践表明，该方案软硬件集成度较高，驱动安装便捷，为开发者提供了从验证到部署的清晰路径。无论是为了提升现有视觉应用的性能密度，还是探索在边缘设备运行大语言模型这一前沿领域，RK3588与RK1820的组合都提供了一个稳定而强大的硬件基石。