腾讯混元推出0.3B端侧模型，国内首条2Bit量化产业路线获突破

2月10日，腾讯混元团队推出了面向消费级硬件场景的“极小”模型HY-1.8B-2Bit。这款模型基于1.8B参数的小尺寸架构，通过创新的2Bit量化技术，实现了仅约0.3B的等效参数量，实际存储占用更是低至约600MB，甚至比一些常见的手机应用还要小巧，为端侧部署带来了新的突破。

该模型基于混元团队首创的产业级2Bit端侧量化方案，通过对HY-1.8B-Instruct模型进行2比特量化感知训练产出。模型体积被大幅压缩至原始精度模型的六分之一，同时在真实端侧设备上的生成速度提升了2-3倍，用户体验得到显著改善。在能力方面，模型完整保留了原版的思维链特性，能够为不同复杂度的任务提供相应深度的推理过程。这是业界首个实现2比特产业级量化的端侧模型实践。

左图为HY-1.8B原始精度模型，右图为HY-1.8B-2Bit模型，量化后的模型速度明显更快。

随着大语言模型日益普及，如何将它们高效地部署到手机、耳机或者智能家居等设备中，成为行业面临的一大挑战。尤其在许多对模型的离线部署、私密性有更高要求的场景下，我们需要更多能够在端侧运行且兼顾小巧体积与强性能的模型。端侧部署的展开，本质上是一条追求“小而精，快而准”的艰难探索之路，我们既需要模型足够聪明以应对千变万化的真实需求，又必须将其约束在极其有限的硬件资源内并实现快速推理，这就好比为模型进行了一场“减脂增肌、减重提质”的改造。

比特是计算机存储的最小单位，1比特能表示2种状态（0或1），2比特能表示4种状态，依此类推。通常模型的精度有2比特、4比特、8比特、32比特等多种表示方法，数值越大意味着模型的精度越高，但所占用的内存也越大。

虽然2比特量化会带来较大的精度损失，但通过量化感知训练和先进的量化策略，现已能够让2比特模型接近全精度模型的性能。在模型能力方面，对比4比特PTQ模型版本，它在数学、代码、科学等指标上表现相当，真正实现了“小而强”的设计目标。

技术层面，量化作为大模型部署上线不可或缺的一环，肩负着降低部署成本与保精度的双重使命。大部分情况下，对于Int4、Int8、FP8的压缩精度要求，采用PTQ量化策略即可实现几乎无损的压缩。但随着原始模型体积的缩小、压缩比特数的进一步降低，PTQ带来的量化损失是巨大的。因此，对于原始模型大小仅为1.8B、量化比特数只有2比特的HY-1.8B-2Bit，混元团队采用了量化感知训练策略，显著提升了量化后模型的性能。

腾讯混元还通过数据优化、弹性拉伸量化以及训练策略创新三种方法，最大限度地提升HY-1.8B-2Bit的全科能力。

部署方面，腾讯混元提供了HY-1.8B-2Bit的GGUF-Int2格式模型权重与BF16伪量化权重。对比原始精度模型，HY-1.8B-2Bit能够灵活用于端侧设备上。该模型也已在Arm等计算平台上完成适配，可部署于启用Arm SME2技术的移动设备上，并实现高效运行。

在MacBook M4芯片上，通过固定线程数为2，测试了不同窗口大小下的首字时延和生成速度。模型选择FP16、Q4、HY-1.8B-2Bit三种GGUF格式作为对比。在1024输入长度内，首字时延能够保持3-8倍的加速；生成速度上，在常用窗口大小下对比原始模型精度，HY-1.8B-2Bit能够实现至少2倍的稳定加速。

在天玑9500上同样进行了测试，对比HY-1.8B-Q4格式，首字时延能够加速1.5-2倍，生成速度加速约1.5倍。

当前，HY-1.8B-2Bit的能力仍受限于监督微调的训练流程，以及基础模型本身的性能与抗压能力。针对这一问题，混元团队未来将重点转向强化学习与模型蒸馏等技术路径，以期进一步缩小低比特量化模型与全精度模型之间的能力差距，从而为边缘设备上的大语言模型部署开拓更广阔的应用前景。

项目页面已开源。

模型地址已公布。

技术报告已发布。