西伯利亚神经网络小模型挑战大模型 手机AI问答效果实测

这项由俄罗斯西伯利亚神经网络有限公司（Siberian Neuronets LLC）研究团队完成的最新研究，已于2026年6月29日以预印本形式发布在arXiv平台，论文编号为arXiv:2606.30062v1。对本地部署AI与小语言模型应用感兴趣的读者，可通过该编号查阅完整论文。

一切源于一个现实困境：大模型虽强，但落地成本太高

近年来，人工智能领域最受关注的热词莫过于“大模型”。动辄数百亿甚至上千亿的参数量，背后需要专门的服务器机房与昂贵的显卡集群支撑，仅电费一项就令人望而却步。对于普通企业、医院、学校乃至个人开发者而言，想要利用AI能力，大多只能通过付费API接口“借用”这些庞大模型，将自身数据送至外部服务器进行处理。

问题在于，许多实际场景根本无法采用这一路径。医院病历、律所案件资料、企业内部会议记录等敏感数据，绝不能随意传输至外部网络。另一种情况则是硬件条件受限——偏远地区的设备、工厂车间的工控机、用户手机端的本地应用，均难以提供运行大模型所需的算力与内存资源。

正是在这样的现实需求推动下，“小语言模型”（Small Language Models，简称SLM）逐渐进入研究者的视线。相较于千亿参数级别的大模型，小模型的参数量通常仅为数百万到数十亿，能够在普通电脑的CPU上直接运行，无需显卡支持，且推理速度相当可观。西伯利亚神经网络公司的研究团队开展了一项极具实践意义的工作：他们将17个小模型部署到一个真实的问答系统中进行全面测试，专门检验这些“小参数”模型在实际工作中能否顶用。

一、RAG系统：为AI配备一本随时可查的实时参考书

要理解这项研究，首先需要了解一个名为“检索增强生成”（Retrieval-Augmented Generation，简称RAG）的技术框架。用图书馆管理员的类比来解释，最为贴切。

假设你向一位管理员提问：“俄罗斯在1812年拿破仑战争中，库图佐夫将军在哪场战役中通过撤退保存了实力？”一个纯靠“记忆”工作的AI，只能依据训练时学到的知识作答，若训练数据恰好缺失这段内容，它很可能开始胡编乱造。而RAG系统的工作方式截然不同——它会像图书馆管理员一样，先在书库中快速检索出与问题最相关的几段文献，再将文献原文呈现在AI面前，让AI基于这些参考资料组织答案。

这套系统分为两大模块：检索模块负责“找书”，生成模块负责“根据找到的书回答问题”。检索模块通常使用相对较小的嵌入模型，只需在建立知识库时将所有文档编码一次，之后每次查询都在这个编码库中搜索即可，计算量不大。但生成模块则更具挑战性——每次用户提问，都需要一个语言模型将问题与检索到的文档一同理解，然后生成一段流畅、准确的答案，这一过程对模型能力的要求相当高。

目前行业主流做法是在生成模块使用大模型——毕竟大模型理解能力强，生成质量高。但正如前面所说，大模型难以部署的场景实在太多。于是研究团队产生了一个核心疑问：如果将生成模块换成小模型，答案质量会下降多少？能否达到实用标准？

二、打造一套客观公平的测试题库

要评判小模型的表现，首先需要一套客观、全面的考题。研究团队为此专门构建了一个俄语问答数据集，包含500道题目，来源是5个不同的数据集，每个数据集抽取100道题。

这5个数据集涵盖了截然不同的应用场景：第一个是DaNetQA，专门测试“是/否”类问题，例如“这个说法是真的吗？”，考验模型对常识与世界知识的理解。第二个是SberQuAD，内容来自俄语维基百科，每道题都附带一段原文加一个问题，答案就藏在原文的某个位置，考查的是阅读理解能力。第三个是RuRAG测试集，专为俄语RAG系统评测设计，同样基于俄语维基百科，题目和答案更贴近RAG实际使用场景。第四个是Grounded-RAG-QA-RU，该数据集使用GPT-4生成问题和答案，而且有些问题被特意设计成“无法仅凭提供的文档回答”，用于测试模型在信息不足时是否会胡乱猜测，而不是老老实实说“不知道”。第五个则来自西伯利亚神经网络公司自身的业务数据集，内容涵盖5000份会议和讲座演示文稿，每份约4500个单词，题目由人工精心编写，代表真实工业场景中的知识问答需求。该专有数据集因许可限制无法公开，但其结构与其余数据集完全一致。

为了让评测更有层次感，研究团队还使用Qwen3-8B模型对每道题进行了分类，划分为六种题型：事实型问题（如“某人出生于哪年”）、推理型问题（需多步逻辑推导）、证据型问题（答案必须直接来自提供的文档）、比较型问题（比较两个事物的异同）、经验型问题（涉及主观判断或个人经历）以及指令型问题（答案是一套操作步骤）。

从分布来看，这500道题中事实型问题最多，共278道，其次是经验型57道、证据型77道、推理型45道、比较型40道，指令型最少，仅3道。不同数据集的题型分布差异相当大——例如专有讲座数据集里经验型和证据型题目特别多，而ru-rag-test数据集中99%都是事实型问题。这种分布差异恰好反映了不同应用场景的特点。

研究团队还进行了质量分析。题目平均长度为8.72个词，标准答案平均长度为41.62个词，说明问题相当简洁，但答案需要一定的展开与说明。不同数据集内容相似度极低，余弦相似度仅为0.06到0.12，表明覆盖的话题非常多样，不存在大量重复内容。题目难度评分平均为4.94分（满分10分），属于中等难度，不简单但也不刁钻。题目与标准答案之间的匹配度平均达到7.012分，说明标准答案质量很高，答案与问题确实对得上。

三、谁来为模型打分？先考一考“考官”

评估AI答题效果，比想象中复杂得多。传统评分方法，如BLEU、ROUGE、METEOR，本质上是“统计模型的答案与标准答案有多少词相同”。这种方法在机器翻译任务上尚可接受，但在开放式问答中就显得颇为笨拙——同一个意思可以用无数种不同方式表达，两句话即使一个词都不相同，含义也可能完全一样；反之，两句话字面相似，实际内容却可能大相径庭。

研究团队选择了目前更先进的“LLM作为评判者”方法（LLM-as-a-Judge），简单来说就是：用另一个AI来评判被测试AI的答案质量。这就像请一位经验丰富的专家来打分，而不是用机器死板地统计字数相同与否。

为了用好这套方法，研究团队先专门构建了一个测试评判者能力的数据集。做法十分巧妙：从原始500道题中，将不同题目的问题、答案、标准答案、背景文档随机打乱混搭，人为制造出一批“明显错误”的答题记录，这些错误记录标分为0；然后将原始正确的问题-答案配对保留下来，标分为1。将这两类数据混合在一起，就形成了一套测试评判者辨别能力的考卷。

共有13个不同的AI模型参与了评判者测评，包括GPT-5、GPT-5-mini、GPT-4o-mini、Qwen3系列（4B、8B、32B、235B）、GLM-4.7、Gemma-3系列、DeepSeek-v3.2以及GPT-oss-120B。评测指标涵盖四个维度：正确性（答案是否事实准确）、答案相关性（答案是否回应了用户的问题）、上下文相关性（检索到的文档是否与问题相关）、忠实度（答案内容是否有文档支撑，没有无中生有）。

评估每个评判者时，研究团队计算了三个指标。第一个是F1分数，衡量评判者区分正确答案与错误答案的能力，满分1.0。第二个是“平均差答案分数”，专门查看评判者对明显错误答案打了多少分，分数越低说明评判者越擅长识别错误，越接近0越好。第三个是与所有评判者共识的皮尔逊相关系数，衡量这个评判者是否与大多数评判者保持一致，越接近1越好。

测评结果显示，大多数模型表现出色。GPT-5-mini、GLM-4.7、DeepSeek-v3.2-alt、GPT-oss-120B、GPT-4o-mini、GPT-5、Qwen3-32B和Qwen3-235B在F1分数上都达到了1.0，完美区分了正确与错误答案。而较小的Gemma-3-4B-it表现则稍逊一筹，F1仅为0.94，更糟糕的是它对错误答案的平均打分高达0.22，说明它经常将明显的错误答案误判为正确。

最终，研究团队从中挑选了三个评判者组成“评审团”：GPT-5-mini、Qwen3-8B和GLM-4.7。选择这三个的理由是：它们的F1分数都很高，与群体共识的相关性强，对错误答案的打分很低，而且三者来自完全不同的模型家族（分别是OpenAI、阿里巴巴Qwen系列、智谱AI），能有效避免“同一家族模型相互包庇”的系统性偏差。三位评判者之间的组内相关系数（ICC）高达0.96，说明他们的评分高度一致，构成了一个可靠的“专家评审团”。

四、17位“小参数”选手上场，成绩如何？

选模型的标准相当务实：参数量要在可接受范围内、涵盖多个不同模型家族、必须是开源可用的、支持GGUF格式（一种专门针对CPU推理优化的模型存储格式）、并且在16GB内存的普通电脑上就能运行。所有候选模型都先在纯CPU环境下进行了预测试，确认能正常运行后才进入正式评测。最终筛选出17个模型，参数量从1B（10亿）到8B（80亿）不等，同时还把GPT-5-mini作为“顶级对照组”加入比较。

每个模型都在“带背景文档”的模式下接受测试：将检索到的相关文档与用户的问题一同输入模型，让它根据文档内容生成答案。此外，GPT-5-mini还额外测试了“不带背景文档”的模式——只给问题不给参考资料，用于对比上下文信息对答案质量的影响。

从测试结果来看，整体格局相当清晰：Qwen3系列表现最为突出。参数量最大的Qwen3-8B-Q4KM在正确性上获得0.72、答案相关性0.87、忠实度0.83，在所有小模型里排名第一，与GPT-5-mini（正确性0.73、答案相关性0.88、忠实度0.89）的差距微乎其微。Qwen3-4B-Instruct-2507-Q5KM正确性0.71、答案相关性高达0.89（与GPT-5-mini持平！）、忠实度0.80，在4B参数量这一档次中表现非常亮眼。

相比之下，Llama-2-7B-Chat-Q4KM表现最弱，正确性仅0.32，答案相关性0.46，忠实度0.42，远远落后于其他模型。DeepSeek-R1-Distill-Qwen-7B-Q4KM和Saiga-Mistral-7B-Q4K也表现平平，正确性分别只有0.40和0.44。

一个颇具启发性的对比来自GPT-5-mini自身的表现。在带背景文档的模式下，GPT-5-mini正确性为0.73；而在不给任何背景文档的情况下，正确性骤降至0.47，足足下降了0.26。这一对比有力地说明了这套测试题的设计质量：这些题目确实需要外部信息才能答对，并非靠背诵训练数据就能蒙混过关，它测的是模型利用检索信息生成准确答案的真实能力。

五、速度同样是核心竞争力

对于需要在CPU上本地运行的系统而言，回答一个问题需要等待多久，往往比答案质量本身更为关键。研究团队专门测量了每个模型在50个样本上的平均响应时间。

测速结果中有几个极具代表性的数据点。Meno-tiny-1.5B-0.1-FP16速度最快，平均每个问题只需27.8秒，对于完全在CPU上运行、无需任何显卡的模型来说相当迅速。Meno-lite-7B-Q4KM仅需31.4秒，速度同样惊人，而且质量比Meno-tiny高出不少——正确性0.56、答案相关性0.75、忠实度0.74。Qwen2.5-3B-Instruct-Q5KM也只需31.8秒。

而有些模型虽然质量不俗，速度却慢得令人难以接受。DeepSeek-R1-Distill-Qwen-7B-Q4KM平均需要297.4秒，接近5分钟一个答案；QVikhr-3-4B-Instruction-Q5KM需要254.4秒；Saiga-Mistral-7B-Q4K需要257.1秒；Qwen3-4B-Q5KM虽然质量不错但也要205.1秒。Qwen3-8B-Q4KM品质最好，但需要339.3秒，将近6分钟。

研究团队最终为自己的生产系统选择了Qwen3-4B-Instruct-2507-Q5KM，平均响应时间70.9秒，正确性0.71，答案相关性0.89，忠实度0.80——在速度与质量之间取得了一个相对合理的平衡点。当然，70秒对于一个实时对话系统来说依然不算快，但对于文档处理或批量问答这类对延迟要求不太苛刻的场景而言，已经足够实用。

六、模型使用什么语言？一个不容忽视的细节

由于所有测试题均为俄语，研究团队还顺带观察了一个有趣的现象：在没有明确要求“请用俄语回答”的情况下，这些模型倾向于使用哪种语言输出答案？

结果显示，大多数模型能够“跟着问题走”，看到俄语问题就自然而然地用俄语回答，西里尔字母（俄语字母）占据了输出内容的绝大部分。但也有少数模型出现了“语言漂移”的问题，偶尔夹杂英语或其他语言。对于面向俄语用户的产品系统来说，这是一个实实在在的工程问题——如果模型经常用英语回答俄语问题，用户体验会大打折扣，还需要额外的后处理步骤来纠正。

七、研究的边界与待解之谜

研究团队在论文中对自身研究的局限性讲得相当坦诚。这项研究只考察了小模型在RAG系统中的生成能力，完全没有涉及检索环节——使用什么嵌入模型、采用什么检索算法，对整体答案质量同样影响巨大，但这部分不在本研究的考察范围内。

另一个局限是提示词设计。研究团队对所有17个模型使用了同一套提示词（给模型的“任务说明”），并未针对每个模型的特点进行定制优化。事实上，不同架构的模型对提示词格式和措辞往往有各自偏好，定制化提示词很可能让某些模型的表现明显提升。因此，这份测试结果更多反映的是“同等条件下”的相对表现，而非每个模型的理论最优表现。

此外，这套测试完全基于俄语，结论能否推广到中文、英文或其他语言，还需要专门的验证。毕竟不同语言的语法复杂度、训练数据丰富程度差异很大，一个在俄语中表现出色的小模型，放到中文场景里不一定同样好用。

说到底，这项研究做的事情用一句话就能概括：通过真实的俄语问答任务，对17个可以在普通电脑CPU上运行的小模型进行了系统化测评，检验它们能否胜任RAG系统的生成工作。

结论是——可以，但要看具体场景。Qwen3系列的小模型，尤其是4B和8B参数量的版本，在答案质量上已经非常接近顶级大模型GPT-5-mini，而它们对硬件的要求仅是一台普通的笔记本电脑，无需任何昂贵的GPU。对于需要保护数据隐私、在本地部署AI的场景而言，这是一个相当有说服力的证明。

当然，CPU推理的速度问题依然是一根刺——最快的模型也要将近半分钟，最慢的接近六分钟，在对响应时间极为敏感的实时场景中仍会让用户感到等待过久。随着模型量化技术与CPU推理框架的持续进步，这一瓶颈会逐步改善，但目前而言，选择小模型意味着要在速度与质量之间做出取舍，没有完美的答案。

对于关注数据安全的普通用户、希望在内网部署AI但缺乏算力预算的中小企业，以及想在资源受限设备上集成智能问答功能的开发者，这项研究提供了一份来自真实生产场景的实用参考。有兴趣深入了解完整细节和实验代码的读者，可通过arXiv编号2606.30062查阅原论文，代码也已开源在GitHub的SibNN/SLM-RAG-EVAL仓库。

Q&A

Q1：小语言模型在RAG系统中的答题准确度与GPT-5-mini差距大吗？

A：差距并不像想象中那么大。测试结果显示，Qwen3-8B-Q4KM的正确性得分为0.72，而GPT-5-mini为0.73，差距极小。即便是4B参数量的Qwen3-4B-Instruct-2507-Q5KM，答案相关性得分也与GPT-5-mini持平，达到0.89。当然，在忠实度（答案是否完全依据文档）方面，小模型与GPT-5-mini仍存在一定差距。

Q2：在普通电脑CPU上运行小语言模型，大概需要多久才能得到答案？

A：这项研究在纯CPU环境下测量了各模型的响应时间。最快的Meno-tiny-1.5B只需约28秒，性价比较高的Meno-lite-7B和Qwen2.5-3B约需31秒。研究团队为生产系统选择的Qwen3-4B-Instruct-2507-Q5KM平均需要约71秒。速度最慢的Qwen3-8B接近6分钟一个答案。响应速度主要取决于模型参数量大小。

Q3：RAG系统中的检索模块与生成模块有什么区别？

A：可以将RAG系统理解为“图书管理员+解说员”的组合。检索模块相当于图书管理员，负责在知识库中快速找到与用户问题最相关的文档，这部分使用较小的嵌入模型，计算量不大。生成模块相当于解说员，负责读懂问题与检索到的文档，再组织成一段流畅的答案，这部分需要语言模型参与，对算力要求更高，也是这项研究专注评测的核心环节。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：西伯利亚神经网络小模型挑战大模型 手机AI问答效果实测要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题