全球最小AI超算发布：仅300克、算力高达190TOPS

IT之家12月11日消息，据科技媒体Wccftech最新报道，AI初创公司Tiiny AI近期发布了一款号称“全球最小AI超级计算机”的设备——Tiiny AI Pocket Lab。这款设备重量仅300克，尺寸与手掌相仿，却集成了ARMv9.2架构的12核CPU和高达80GB的LPDDR5X内存，AI算力达到190 TOPS。

报道详细指出，该设备具体尺寸为14.2×8×2.53厘米，重量约300克，用户可以轻松将其置于掌中把玩。尽管体积小巧，Tiiny AI宣称该设备能够成功部署参数高达1200亿的大型模型，这在同类便携设备中尚属首次。

据称，这台设备支持的大语言模型能够完美处理“博士级推理、多步骤分析和深度上下文理解”等复杂任务。其硬件核心为最新的ARMv9.2 12核CPU，并通过定制化的异构计算模块提供了约190 TOPS的强劲AI算力。

为了支撑庞大模型的流畅运行，该设备配备了高达80GB的LPDDR5X内存和1TB的SSD存储空间。这种大容量内存配置让用户可以启用先进的量化技术，从而在本地环境中流畅运行120B参数的大模型。此外，该设备的功耗控制也相当出色，TDP为30W，典型系统功耗约为65W。

为了在如此紧凑的设备上实现120B大模型的实用化，Tiiny AI采用了两项核心技术。首先是TurboSparse，这是一种神经元级别的稀疏激活技术，能够在保持模型完整智能的同时显著提升推理效率。

其次是PowerInfer，这是一个在GitHub上拥有超过8000颗星标的开源异构推理引擎。它能够通过动态分配CPU与NPU之间的计算任务，来加速繁重的大语言模型工作负载。

在软件生态方面，AI Pocket Lab支持一键部署GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi等数十种主流开源模型及代理框架，无需依赖互联网或云端，支持完全离线操作。Tiiny AI确认将在CES 2026上正式展示该设备。