全球最小AI超算问世：300克190TOPS，本地运行120B模型

12月11日消息，科技媒体Wccftech昨日（12月10日）发文报道称，初创公司Tiiny AI发布号称“全球最小的AI超级计算机”Tiiny AI Pocket Lab，其重量仅为300克，尺寸如手掌大小，但却配备了ARMv9.2架构的12核CPU和高达80GB的LPDDR5X内存，AI算力达到190 TOPS。

据引用的博文介绍，该设备尺寸仅为14.2×8×2.53厘米，重量约300克，用户可以轻松将其置于掌中。尽管体积小巧，Tiiny AI宣称该设备能成功部署拥有1200亿（120B）参数的模型，这在同类便携设备中尚属首次。

该设备支持的大语言模型（LLM）据称能完美处理“博士级推理、多步骤分析和深度上下文理解”等复杂任务。其搭载了最新的ARMv9.2 12核CPU，并通过定制的异构模块（SoC + 独立NPU）提供了约190 TOPS的AI计算性能。

为了支撑庞大模型的流畅运行，该设备配备了高达80GB的LPDDR5X内存和1TB SSD存储空间。这种大容量内存配置让用户可以启用更激进的量化技术，从而在本地环境中流畅运行120B参数的大模型。此外，该设备的功耗控制也相当出色，TDP为30W，典型系统功耗约为65W。

为了在如此紧凑的设备上实用化地运行120B模型，Tiiny采用了两项核心技术。首先是TurboSparse，这是一种神经元级别的稀疏激活技术，能在保持模型完整智能的同时，显著提升推理效率。

其次是PowerInfer，这是一个在GitHub上拥有超过8000颗星标的开源异构推理引擎。它能够通过动态分配CPU和NPU之间的计算任务，来加速繁重的大语言模型工作负载。

在软件生态方面，AI Pocket Lab支持一键部署GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi等数十种主流开源模型及代理框架，无需依赖互联网或云端，支持完全离线操作。Tiiny AI确认将在CES 2026上正式展示该设备。