说起在手机上运行大模型，性能始终是首要挑战。模型越庞大、参数越多，涉及的矩阵乘法运算量就越惊人。好消息是，随着Arm第二代可伸缩矩阵扩展（SME2）技术的逐渐普及，以及MNN推理引擎的深度优化适配，我们终于找到了一把突破端侧性能瓶颈的钥匙。只需在编译时开启一个开关，像Qwen3‑VL‑4B这样的多模态模型，就能在支持SME2的旗舰手机（例如vivo X300）上实现实时流畅运行。

接下来，让我们直接进入工程实践环节，手把手带你走完从引擎编译、模型部署到APP构建的完整流程。实测数据将告诉你：为什么这套组合拳能让Qwen在端侧实现性能飞跃。

什么是SME2？

SME2是Armv9架构中一组先进的CPU指令集，基于SME升级而来，其核心突破在于引入了ZA矩阵累加器寄存器和流式模式。传统Neon执行矩阵乘法时，需要手工将外积拆解为向量乘，再逐次累加；而SME2仅需一条FMOPA指令即可完成一个矩阵tile的外积累加。

通过引入SME2指令集，Armv9架构的CPU能够在AI异构计算框架下，高效支撑大语言模型推理、图像处理、自然语言处理、语音生成等实时移动端推理任务。

认识我们的工具箱

动手之前，先来熟悉一下本次部署的核心组件：

MNN：阿里巴巴开源的端侧推理引擎，具备高性能、轻量级、高通用性等特性——支持CNN、Transformer、LLM、扩散模型等多种架构。

MNN-LLM：MNN中专为大语言模型设计的模块，提供从模型转换到推理部署的全链路工具。

Qwen模型：本文以Qwen3-VL-4B-Instruct为例——一个4B参数的视觉语言模型，能够理解图文内容并开展对话，体积适中，能力强劲。

MNN模型仓库：MNN官方已经转换并量化了多款Qwen模型，可直接下载使用。

MNN对SME2的适配采用“编译时内建+运行时自动检测”的设计，开发者无需手动配置：

• 编译时：通过MNN_SME2开关（默认ON）控制是否编译SME2优化内核

• 运行时：启动时自动检测硬件是否支持SME2，支持则走SME2加速路径，不支持则回退到i8mm→Neon，保证系统不崩溃

• 三精度覆盖：FP32、FP16、INT8/INT4量化均有手写SME2汇编内核

• 大小核调度：感知SoC大小核拓扑，SME2大核使用大tile处理主体计算，Neon小核处理剩余部分，并行工作

• KleidiAI集成：集成Arm官方KleidiAI加速库，提供更多SME2微内核

实战演练：从零构建SME2加速的端侧大模型

接下来，我们就从源码开始，一步步走通开启SME2加速的完整端侧大模型部署流程。

前置准备

确保以下环境已就绪：

• Android NDK：推荐r27+，需要设置$ANDROID_NDK环境变量

• ADB：用于与手机通信，adb devices能正常发现设备

• JDK 17：Gradle编译APP所需

• 手机：开启开发者模式和USB调试，通过USB连接电脑

Step 1：编译推理引擎

? 为Android编译MNN引擎的动态库（.so文件）和命令行推理工具。

SME2功能默认开启，也可以通过-DMNN_SME2=ON/OFF显式控制。

# 1. 进入 MNN 的 Android 工程目录
cd MNN/project/android

# 2. 创建编译目录
mkdir build_64 && cd build_64

# 3. 执行编译（SME2 默认开启，可通过 -DMNN_SME2 控制）
../build_64.sh "-DMNN_SME2=ON -DMNN_KLEIDIAI=ON -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=OFF -DCMAKE_SHARED_LINKER_FLAGS='-Wl,-z,max-page-size=16384' -DCMAKE_INSTALL_PREFIX=."

# 4. 整理编译产出
make install

? make install是必要的——它会将libMNN.so拷贝到build_64/lib/目录，后续APP编译时会从这个路径引用动态库。

编译完成后，build_64/目录下会生成以下关键文件：

• libMNN.so：MNN核心引擎库

• llm_demo：命令行推理工具

• llm_bench：性能基准测试工具

Step 2：准备模型

? 方案一：直接下载MNN格式的模型（推荐）

MNN官方已提供转换和量化好的模型，一步到位：

cd MNN/transformers/llm/export
pip install modelscope
modelscope download --model MNN/Qwen3-VL-4B-Instruct-MNN --local_dir Qwen3-VL-4B-Instruct-MNN

? 方案二：使用MNN的模型转换工具自行转换

如果需要自定义量化参数或使用其他模型，可以手动转换：

# 1. 进入 MNN-LLM 的 export 目录
cd MNN/transformers/llm/export

# 2. 安装 Python 依赖
pip install -r requirements.txt

# 3. 从 ModelScope 下载原始模型
modelscope download Qwen/Qwen3-VL-4B-Instruct --local_dir Qwen3-VL-4B-Instruct

# 4. 执行转换（HQQ 量化）
python llmexport.py --path Qwen3-VL-4B-Instruct --dst_path Qwen3-VL-4B-Instruct-MNN --export mnn --hqq

? 提示：--export mnn代表导出为MNN格式，--hqq是推荐的量化选项，能有效提升模型精度。

Step 3：推送到手机，命令行验证

? 把引擎和模型推到手机上，通过命令行快速验证推理是否正常。

# 1. 推送引擎文件到手机
adb push project/android/build_64/llm_demo /data/local/tmp/
adb push project/android/build_64/llm_bench /data/local/tmp/
adb push project/android/build_64/libMNN.so /data/local/tmp/

# 2. 推送模型到手机
adb shell mkdir -p /data/local/tmp/mnn_models
adb push Qwen3-VL-4B-Instruct-MNN /data/local/tmp/mnn_models/

# 3. 进入手机 shell
adb shell

# 4. 赋予执行权限
chmod +x /data/local/tmp/llm_demo /data/local/tmp/llm_bench

# 5. 创建 prompt 文件
echo "你好" > /data/local/tmp/prompt.txt

# 6. 设置动态库路径并运行推理
cd /data/local/tmp
export LD_LIBRARY_PATH=/data/local/tmp:$LD_LIBRARY_PATH
./llm_demo /data/local/tmp/mnn_models/Qwen3-VL-4B-Instruct-MNN/config.json /data/local/tmp/prompt.txt

? 知识点：为什么需要设置LD_LIBRARY_PATH？llm_demo动态链接了libMNN.so，Android系统默认只在/system/lib64等系统目录搜索动态库，不会搜索/data/local/tmp/。设置这个变量，告诉链接器也去指定目录查找。

当你看到模型流畅地回复时，恭喜——推理引擎已经跑通了！

? 确认SME2硬件支持

在电脑上新开一个终端窗口，运行：

adb logcat | grep "device supports"

会看到类似输出：

The device supports: i8sdot:1, fp16:1, i8mm:1, sve2:1, sme2:1

其中sme2: 1表示手机的CPU硬件支持SME2指令集，MNN引擎会自动使用SME2加速路径进行推理。

? 这行日志反映的是硬件检测结果，与编译选项无关。-DMNN_SME2=ON/OFF控制的是编译产物中是否包含SME2优化代码——即使硬件支持，如果编译时关闭了该选项，引擎也不会走SME2加速路径。

Step 4：构建端侧AI应用

? 命令行验证成功后，就可以把推理能力集成到一个完整的Android APP里了。本文以MNN自带的MNN Chat示例应用为例：

# 1. 进入示例应用目录
cd MNN/apps/Android/MnnLlmChat

# 2. 编译 APK
./gradlew assembleStandardDebug

# 3. 安装到手机
adb install app/build/outputs/apk/standard/debug/app-standard-debug.apk

? 提示：APP编译时会自动从project/android/build_64/lib/引用libMNN.so并打包进APK，所以不需要再手动推送.so文件到手机——安装APK就完成了引擎部署。

安装完成后，如果之前Step 3已经把模型推到/data/local/tmp/mnn_models/，打开MNN Chat就能在“我的模型”中找到Qwen3-VL-4B-Instruct模型。你也可以通过APP内的模型市场直接下载其他模型。

以下是MNN Chat在手机上进行多模态问答的实际演示——用户拍照后，模型即可理解图片内容并流畅回答：

性能测评：SME2带来多大提升？

为了验证SME2的实际性能收益，我们分别编译了SME2开启和SME2关闭两个版本的引擎，在同一台设备上使用llm_bench进行对比测试。

测试环境

• 设备：vivo X300

• 模型：Qwen3-VL-4B-Instruct-MNN

• 测试工具：llm_bench

Prefill阶段提升最为显著（+81%）：因为Prefill需要一次性处理整段输入token，属于计算密集型任务（大批量矩阵乘），能充分利用SME2的矩阵外积指令和大tile（HP=128）内核。这意味着首字等待时间大大缩短。

Decode阶段提升相对较小（+13%）：Decode是逐token生成，矩阵乘退化为矩阵×向量运算（batch=1），瓶颈在内存带宽而非计算吞吐，SME2的优势相对有限。

进阶调优

完成基本部署后，可以根据实际应用需求，通过以下手段进一步提升性能和精度：

? 模型导出参数调优 执行llmexport.py时可以附加不同参数：

? 运行时参数调优 模型导出后，可以通过修改config.json控制运行时行为：

这样一来，一条完整的端侧大模型部署路径就走通了：编译MNN引擎→准备模型→命令行验证→构建APP→性能测评。

SME2作为Arm最新的矩阵加速指令集，在MNN的深度适配下，为端侧大模型推理带来了实实在在的性能提升——Prefill阶段提速超过80%。而MNN“编译时内建+运行时自动检测”的设计，让开发者无需额外配置即可享受硬件加速红利。

随着SME2技术的进一步普及，端侧AI的性能天花板正在被不断抬高。期待看到更多创新的端侧AI应用！

你在端侧部署中遇到的最大“坑”是什么？欢迎在评论区分享，我们将选取三位同学送出定制周边一份。

推荐阅读

Agent 辅助开发，一站式打通 Qwen3-VL Android 端侧推理

教程首发｜让手机拥有视觉感知能力

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：端侧AI提速80%：Qwen3-VL手机起飞指南要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题