全球最小AI超算亮机：Tiiny掌上120B大模型终端的发布与应用

12月11日，最新科技资讯披露，初创企业Tiiny AI发布了一款名为Tiiny AI Pocket Lab的AI超级计算机，声称这是目前全球体积最小的同类设备。它的重量仅有300克，整体尺寸为14.2×8×2.53厘米，可以轻松握在掌心里。

别看它身材紧凑，这款设备却搭载了基于ARMv9.2架构的12核CPU、高达80GB的LPDDR5X内存以及1TB的固态存储，AI算力更是达到了约190 TOPS。最新消息指出，这样的性能足以在本地流畅运行参数规模高达1200亿（120B）的大语言模型，这在同级产品中尚属首次实现。

据介绍，该设备所支持的大模型具备处理复杂任务的能力，能够胜任博士级别的推理、多步骤逻辑分析以及深度上下文理解等工作。其AI运算能力由定制化的异构计算模块提供，通过SoC与独立NPU的协同工作，实现了高效率的输出。

为了确保大型模型能够流畅运行，系统配置了大容量内存，并引入了两项关键技术：其一是TurboSparse，这项技术采用了神经元级别的稀疏激活机制，在不损失模型智能完整性的前提下，显著提升了推理效率；其二是PowerInfer，这是一个备受开发者关注的开源异构推理引擎，能够通过动态调度CPU与NPU之间的计算负载，优化大模型的运行速度。

在软件支持方面，AI Pocket Lab具备广泛的兼容性，可以一键部署包括GPT-OSS、Llama、Qwen、DeepSeek、Mistral和Phi在内的数十种主流开源模型及代理框架。整个系统无需依赖网络连接，支持完全离线使用，充分保障了数据隐私与本地化操作体验。

此外，设备的热设计功耗为30W，典型系统功耗约为65W，体现出较为出色的能效控制水平。Tiiny AI已确认，该产品将于2026年在国际消费电子展上正式亮相并进行现场演示。