英伟达4B小模型登顶ARC-AGI+2：零预训练策略成本优势详解

在人工智能模型性能比拼的赛场上，英伟达推出的4B小模型NVARC在ARC-AGI+2测试中脱颖而出，以27.64%的公开榜成绩超过GPT-5 Pro的18.3%，成功登顶榜首。这一成绩不仅展现了小模型的强大潜力，也引发了业界关于模型发展方向的新一轮讨论。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

NVARC的显著优势不仅体现在成绩上，更在于其出色的成本控制能力。该模型每任务成本仅为20美分，而GPT-5 Pro的单任务成本超过7美元；NVARC的成本仅为前者的1/36。这种低成本特性使其在实际应用中更具竞争力，尤其是在资源有限的场景下。

NVARC的成功得益于其独特的零预训练深度学习架构。与依赖大规模通用数据集进行前期预训练的模型不同，NVARC避免了预训练模型可能存在的领域偏见和数据依赖问题。这种方法使它在ARC-AGI+2测试中表现突出，该测试旨在评估模型能否高效获取超出其训练数据的新技能，且测试数据与公共训练数据无重叠。

为了实现这一突破，英伟达团队采取了创新的策略。他们将复杂推理转移至离线的合成数据管道，通过大规模合成高质量数据来优化现有模型。具体而言，团队利用GPT-OSS-120B生成了320多万个增强样本的合成数据集，每个样本最多包含7对输入/输出。这一过程通过拆分推理管线为多个独立验证阶段，确保了数据质量。

在模型选择上，NVARC以改进版ARChitects方法论为基础，选用小参数模型Qwen3-4B，并通过对话式模板简化解题推理。训练过程中，团队借助NeMo RL框架和Megatron后端进行监督微调。而真正让模型取得优异成绩的关键在于测试时微调（TTFT）技术。针对ARC-AGI-2“每个任务都是全新规则”的特点，NVARC引入了LoRA微调技术，对每个问题进行单独微调，使模型能快速适应新任务。

团队对ARChitects方法的解码阶段进行了优化，通过批处理DFS算法修复结果非确定性问题，并统一了8种数据增强操作评估候选解。这些改进共同助力NVARC在公开榜上获得27.64%的分数。

在竞赛后期，团队还尝试了“少即是多”的TRM方法论，与Qwen3-4B集成以进一步提升分数。尽管这一方法带来了一定提升，但受限于多种因素，并未实现大幅突破。

有人质疑，这样训练出来的小模型是否只是“做题机器”，难以与全面发展的超级大模型相提并论。然而，NVARC的成功表明，在特定领域任务中，经过针对性优化的小模型性能并不逊色。其低成本、高速度、强适配性和领域聚焦等优势，使其在诸多场景中展现出巨大应用潜力。

这一成果提醒我们，在模型开发中，将正确的方法应用于正确的场景，往往能实现更大的价值。小模型的崛起，或许将为人工智能的发展开辟新的路径。