西伯利亚神经网络公司如何用小模型挑战大模型

这项由俄罗斯西伯利亚神经网络有限公司研究团队完成的工作，以预印本形式于2026年6月29日发布在arXiv平台，论文编号为arXiv:2606.30062v1。对技术细节感兴趣的朋友，可以直接通过这个编号去搜索完整论文。

一切都要从一个现实的困境说起

近些年，人工智能圈中最流行的概念当属“大模型”——参数动辄几百亿乃至上千亿，运行此类模型需要专门的服务器机房和昂贵的显卡集群，仅电费就是一笔不小的开支。普通公司、医院、学校乃至个人开发者，通常只能通过付费API接口“借用”这些庞大的模型，将数据发送到云端服务器进行处理。

问题在于：很多应用场景根本不允许这样做。医院里的病历、律师事务所的案件资料、企业内部会议记录，这些数据绝不能随意传输到外网。另一种挑战是硬件条件受限——偏远地区的设备、工厂车间的工控机、用户手机上的本地应用，根本没有足够的算力和内存来运行大模型。

正是在这种现实需求下，“小语言模型”（Small Language Models，简称SLM）开始引发研究者关注。相比于动辄千亿参数的大模型，小模型的参数量在几百万到几十亿之间，可以直接在普通电脑的CPU上运行，无需显卡，速度也相当快。西伯利亚神经网络公司的研究团队做了一件很务实的事情：他们把17个小模型放入一个真实的问答系统中进行测试，看看这些“小脑袋”在实际工作中能否发挥效用。

一、RAG系统：给AI配一本随时可查的参考书

要理解这项研究，首先需要明白一个叫做“检索增强生成”（Retrieval-Augmented Generation，简称RAG）的技术框架。

我们可以用图书馆管理员来理解这个概念。假设你向一位管理员提问：“俄罗斯1812年拿破仑战争中，库图佐夫将军在哪场战役中撤退保全了军队？”一个纯粹依靠“记忆”工作的AI，只能凭借训练时学到的知识回答；如果训练数据中没有相关内容，它可能胡编乱造。而RAG系统的工作方式完全不同——它首先像图书馆管理员一样，快速在书库中检索出与问题最相关的几段文献，然后把这些文献原文提供给AI，让AI根据这些参考资料来组织答案。

这套系统分为两个部分：检索模块负责“找书”，生成模块负责“根据找到的书回答问题”。检索模块通常使用相对较小的嵌入模型，只需在构建知识库时将文档编码一次，之后每次查询都在编码库中搜索，计算量不大。但生成模块则复杂得多——每次用户提问，都需要一个语言模型来理解问题与检索到的文档，然后生成一段流畅、准确的答案，这个过程对模型的能力要求很高。

目前行业内的主流做法，是在生成模块中使用大模型——毕竟大模型理解能力强，生成质量高。但如前所述，大模型在许多场景下难以运行。于是研究团队产生了一个核心疑问：如果把生成模块换成小模型，答案质量会差多少？能否达到实用标准？

二、打造一套公平的考试卷

要评判小模型的表现，首先需要一套客观、全面的考题。研究团队为此专门构建了一个俄语问答数据集，共包含500道题目，来源为5个不同的数据集，每个数据集抽取100道题。

这5个数据集涵盖了截然不同的应用场景，各有侧重。第一个是DaNetQA，专门测试“是/否”类问题，例如“这个说法是真的吗？”，考验模型对常识和世界知识的理解。第二个是SberQuAD，内容源自俄语维基百科，每道题都附带一段原文和一个问题，答案隐藏在原文中，考验阅读理解能力。第三个是RuRAG测试集，专为评测俄语RAG系统而设计，同样基于俄语维基百科，题目和答案更贴近RAG的实际使用场景。第四个是Grounded-RAG-QA-RU，该数据集使用GPT-4生成问题和答案，有些问题刻意设计成“无法仅凭提供的文档回答”，用来测试模型在信息不足时是否会胡乱猜测，而不是坦诚表示“我不知道”。第五个则来自西伯利亚神经网络公司自有业务中的专有数据集，内容包含5000份会议和讲座演示文稿，每份约4500个单词，题目由人工精心编写，代表了真实工业场景中的知识问答需求。由于许可限制，这个专有数据集无法公开，但其结构与其他数据集完全一致。

为了让评测更具层次感，研究团队还使用Qwen3-8B模型对每道题进行了分类，分为六种题型：事实型问题（例如“某人出生于哪年”）、推理型问题（需要多步逻辑推导）、证据型问题（答案必须直接来自提供的文档）、比较型问题（比较两个事物的异同）、经验型问题（涉及主观判断或个人经历）以及指令型问题（答案是一套操作步骤）。

从分布上看，这500道题中事实型问题最多，占278道；其次是经验型57道、证据型77道、推理型45道、比较型40道；指令型最少，仅3道。不同数据集的题型分布差异很大，例如专有讲座数据集中经验型和证据型题目特别多，而ru-rag-test数据集中99%都是事实型问题。这种分布差异恰恰反映了不同应用场景的特点。

研究团队还对这套题目进行了质量分析。题目平均长度为8.72个词，标准答案平均长度为41.62个词，说明这些问题相当简洁，但答案需要一定的展开和说明。不同数据集之间的内容相似度非常低，余弦相似度仅为0.06到0.12，表明覆盖的话题确实多样，不存在大量重复内容。题目的难度评分平均为4.94分（满分10分），属于中等难度，既不简单也不刁钻。题目与标准答案之间的匹配度平均高达7.012分，说明标准答案质量很高，答案与问题确实对应。

三、谁来给模型打分？先考一考“考官”

评测AI答题效果，比看起来复杂得多。传统的评分方法，如BLEU、ROUGE、METEOR，本质上就是“计算模型答案与标准答案有多少词相同”。这种方法在机器翻译这类任务上尚可接受，但在开放式问答中显得很笨拙——同一个意思可以用无数种不同方式表达，两个句子即使一个词都不同，意思也可能完全一样；反之，两句话字面相似，实际内容却可能大相径庭。

研究团队选择了目前更先进的“LLM作为评判者”方法（LLM-as-a-Judge），简单说就是：用另一个AI来评判被测试AI的答案质量。这就像请一位经验丰富的专家来打分，而不是用机器死板地计算字数是否相同。

为了用好这套方法，研究团队先专门构建了一个测试评判者能力的数据集。做法很巧妙：从原始500道题中，将不同题目的问题、答案、标准答案、背景文档随机打乱混搭，人为制造出一批“明显错误”的答题记录，这些错误记录标分为0；然后将原始正确的问题-答案配对保留，标分为1。将这两类数据混合，就形成了一套测试评判者辨别能力的考卷。

共有13个不同的AI模型参与了评判者测评，包括GPT-5、GPT-5-mini、GPT-4o-mini、Qwen3系列（4B、8B、32B、235B）、GLM-4.7、Gemma-3系列、DeepSeek-v3.2以及GPT-oss-120B。评测指标包含四个维度：正确性（答案是否事实准确）、答案相关性（答案是否回应了用户的问题）、上下文相关性（检索到的文档是否与问题相关）、忠实度（答案内容是否有文档支撑，没有无中生有）。

评估每个评判者时，研究团队计算了三项指标。第一是F1分数，衡量评判者区分正确答案和错误答案的能力，满分1.0。第二是“平均差答案分数”，专门观察评判者对明显错误答案的打分，分数越低说明评判者越善于识别错误，越接近0越好。第三是与所有评判者共识的皮尔逊相关系数，衡量该评判者是否与大多数评判者保持一致，越接近1越好。

测评结果显示，大多数模型表现出色。GPT-5-mini、GLM-4.7、DeepSeek-v3.2-alt、GPT-oss-120B、GPT-4o-mini、GPT-5、Qwen3-32B和Qwen3-235B在F1分数上都达到1.0，即完美区分了正确和错误答案。而较小的Gemma-3-4B-it表现则稍差，F1仅为0.94，更糟糕的是它给错误答案打出的平均分高达0.22，说明它经常将明显错误的答案误判为正确。

最终，研究团队从中挑选了三个评判者组成“评审团”：GPT-5-mini、Qwen3-8B和GLM-4.7。选择这三个的理由是：它们的F1分数都很高，与群体共识的相关性强，给错误答案的打分很低，而且三者来自完全不同的模型家族（分别是OpenAI、阿里巴巴Qwen系列、智谱AI），有效避免了“同一家族模型相互包庇”的系统性偏差。三位评判者之间的组内相关系数（ICC）高达0.96，说明他们的评分高度一致，构成了一个可靠的“专家评审团”。

四、17位“小脑袋”上场，成绩怎么样？

筛选模型的标准相当务实：参数量在可接受范围内、涵盖多个不同模型家族、必须是开源可用的、支持GGUF格式（一种专门针对CPU推理优化的模型存储格式），并且能在16GB内存的普通电脑上运行。所有候选模型先在纯CPU环境下进行预测试，确认能正常运行后才进入正式评测。最终筛选出17个模型，参数量从1B（10亿）到8B（80亿）不等，同时还将GPT-5-mini作为“顶级对照组”加入比较。

每个模型都在“带背景文档”模式下接受测试：将检索到的相关文档和用户的问题一起输入模型，让模型根据文档内容生成答案。此外，GPT-5-mini还额外测试了“不带背景文档”的模式，只给问题而不给参考资料，用于对比上下文信息对答案质量的影响。

从测试结果来看，整体格局相当清晰，Qwen3系列表现最为突出。参数量最大的Qwen3-8B-Q4KM获得了正确性0.72、答案相关性0.87、忠实度0.83的成绩，在所有小模型中排名第一，与GPT-5-mini（正确性0.73、答案相关性0.88、忠实度0.89）的差距非常小。Qwen3-4B-Instruct-2507-Q5KM的正确性为0.71、答案相关性高达0.89（与GPT-5-mini持平！）、忠实度0.80，在4B参数级别中表现优异。

相比之下，Llama-2-7B-Chat-Q4KM表现最弱，正确性仅0.32，答案相关性0.46，忠实度0.42，远远落后于其他模型。DeepSeek-R1-Distill-Qwen-7B-Q4KM和Saiga-Mistral-7B-Q4K表现也平平，正确性分别只有0.40和0.44。

一个很有意思的对比来自GPT-5-mini自身。在带背景文档的模式下，GPT-5-mini正确性为0.73；而在不提供任何背景文档的情况下，正确性骤降到0.47，足足下降了0.26。这一对比有力地证明了这套测试题的设计质量：这些题目确实需要外部信息才能答对，并非仅靠背诵训练数据就能糊弄过去，测试的是模型利用检索信息生成准确答案的真实能力。

五、速度也是实力的一部分

对于需要在CPU上本地运行的系统来说，回答一个问题需要等待多久，往往比答案质量更为关键。研究团队专门测量了每个模型在50个样本上的平均响应时间。

测速结果中有几个具有代表性的数据点。Meno-tiny-1.5B-0.1-FP16是速度最快的模型，平均每个问题只需27.8秒，这对于一个在CPU上运行、无需任何显卡的模型来说相当迅速。Meno-lite-7B-Q4KM仅需31.4秒，速度同样惊人，且质量优于Meno-tiny，正确性0.56、答案相关性0.75、忠实度0.74。Qwen2.5-3B-Instruct-Q5KM也仅需31.8秒。

而有些模型虽然质量不错，但速度慢得令人难以接受。DeepSeek-R1-Distill-Qwen-7B-Q4KM平均需要297.4秒，接近5分钟一个答案；QVikhr-3-4B-Instruction-Q5KM需要254.4秒；Saiga-Mistral-7B-Q4K需要257.1秒；Qwen3-4B-Q5KM虽然质量不错，但也需205.1秒。Qwen3-8B-Q4KM品质最佳，但需要339.3秒，将近6分钟。

研究团队最终为自己的生产系统选择了Qwen3-4B-Instruct-2507-Q5KM，平均响应时间70.9秒，正确性0.71，答案相关性0.89，忠实度0.80——在速度与质量之间取得了相对合理的平衡。当然，70秒对于实时对话系统来说仍然不算快，但对于文档处理或批量问答这类对延迟要求不那么苛刻的场景而言，已经相当实用。

六、模型说什么语言？一个被忽略的细节

由于所有测试题均为俄语，研究团队还顺带观察了一个有趣的现象：在没有明确要求“请用俄语回答”的情况下，这些模型倾向于使用哪种语言输出答案？

结果显示，大多数模型能够“跟着问题走”，看到俄语问题便自然而然地用俄语回答，西里尔字母（俄语字母）在输出内容中占据了绝大部分。但也有少数模型出现“语言漂移”的问题，偶尔夹杂英语或其他语言。对于面向俄语用户的产品系统来说，这是一个实实在在的工程问题——如果模型经常用英语回答俄语问题，用户体验会很差，还需要额外的后处理步骤来纠正。

七、研究的边界和未解之题

研究团队在论文中对自己研究的局限性讲得相当坦诚。这项研究仅考察了小模型在RAG系统中的生成能力，完全没有涉及检索环节——使用何种嵌入模型、采用何种检索算法，对整体答案质量同样有很大影响，但这部分不在本研究考察范围之内。

另一个局限是提示词设计。研究团队对所有17个模型使用了同一套提示词（给模型的“任务说明”），并未针对每个模型的特点进行定制优化。实际上，不同架构的模型对提示词格式和措辞往往有各自的偏好，定制化提示词很可能让某些模型的表现显著提升。因此，这份测试结果更多反映的是“同等条件下”的相对表现，而非每个模型的理论最优表现。

此外，这套测试完全基于俄语，结论能否推广到中文、英文或其他语言，还需要专门的验证。毕竟不同语言的语法复杂度与训练数据丰富程度差别很大，一个在俄语中表现出色的小模型，放到中文场景中不一定同样好用。

总结来说，这项研究做的事情用一句话就能概括：用真实的俄语问答任务，将17个可以在普通电脑CPU上运行的小模型认认真真地测试了一遍，看看它们能否胜任RAG系统的生成工作。

结论是可以，但要看具体场景。Qwen3系列的小模型，尤其是4B和8B参数量的版本，在答案质量上已非常接近顶级大模型GPT-5-mini，而它们对硬件的要求仅是一台普通的笔记本电脑，无需任何昂贵的GPU。这对于需要保护数据隐私、在本地部署AI的场景来说，是一个相当有说服力的证明。

当然，CPU推理的速度问题依然是一根刺——最快的模型也要将近半分钟，最慢的接近六分钟，在对响应时间极为敏感的实时场景中仍会让用户感到不耐烦。随着模型量化技术和CPU推理框架的持续进步，这一瓶颈将逐步改善，但就目前而言，选择小模型意味着需要在速度与质量之间做出取舍，没有完美的答案。

对于关心数据安全的普通用户、希望在内网部署AI但缺乏算力预算的中小企业，或者想在资源受限设备上集成智能问答功能的开发者，这项研究提供了一份来自真实生产场景的参考答案。有兴趣深入了解完整细节和实验代码的读者，可以通过arXiv编号2606.30062查阅原论文。

Q&A

Q1：小语言模型在RAG系统中的答题准确度和GPT-5-mini差距大吗？

A：差距并不像想象中那么大。测试结果显示，Qwen3-8B-Q4KM的正确性得分为0.72，而GPT-5-mini是0.73，差距极小。即便是4B参数量的Qwen3-4B-Instruct-2507-Q5KM，答案相关性得分也与GPT-5-mini持平，达到0.89。当然，在忠实度（答案是否完全依据文档）上，小模型与GPT-5-mini仍有一定差距。

Q2：在普通电脑CPU上运行小语言模型，大概要等多久才能得到答案？

A：这项研究在纯CPU环境下测量了各模型的响应时间。最快的Meno-tiny-1.5B只需约28秒，性价比较高的Meno-lite-7B和Qwen2.5-3B约需31秒。研究团队为生产系统选择的Qwen3-4B-Instruct-2507-Q5KM平均需要约71秒。速度最慢的Qwen3-8B接近6分钟一个答案。速度快慢主要取决于模型参数量大小。

Q3：RAG系统里的检索模块和生成模块有什么区别？

A：可以把RAG系统理解为“图书管理员+解说员”的组合。检索模块相当于图书管理员，负责在知识库里快速找到与用户问题最相关的文档，这部分使用的是较小的嵌入模型，计算量不大。生成模块相当于解说员，负责理解问题与检索到的文档，再组织成一段流畅的答案，这部分需要语言模型参与，对算力要求更高，也正是这项研究专注评测的核心环节。