开源最长文本模型，兼具智慧与超长文本能力

此前，红衣大叔在公开课上分享了2024年AI产业的16大趋势，当时便透露了开源计划。如今承诺兑现，360正式开源了7B系列大模型。

当前市面上大模型层出不穷、同质化明显，用户难免有些视觉疲劳。不过坦白讲，360这次开源的模型确实与众不同。

一次性开源了四个模型：基础模型，以及4K、32K、360K三种上下文长度的版本。

其中基础模型采用3.4万亿Tokens的高质量语料库进行训练，主要涵盖中文、英文和代码。与国内外同参数级别模型相比，360Zhinao-7B的综合平均分跻身前三，在C-Eval、MMLU、HellaSwag、LAMBADA等基准测试中均取得第一。换言之，其中英文知识储备与理解推理能力确实非常扎实。

光看分数还不够，实际表现究竟如何？按照惯例，直接实战测试。我们在魔搭（即国产版Huggingface）上部署并测试了该7B模型，直接挑战“弱智吧”问题集——这可是人类智慧与逻辑陷阱的集大成者。

担心部分朋友不了解“弱智吧”，简单介绍一下：它是百度贴吧中一个热门小组，问题看似无厘头，实则包含双关、逻辑梗、哲学陷阱等元素。先测试双关语，考察模型的思维灵活度：

第一回合：大家都说我嘴很甜，他们什么时候尝的？

第二回合：孙子是怎么提前两千年预判战斗机的发明的，还提出了“战机很重要”“不要失去战机”这种理论的？

第三回合：弱碱是碱，那么弱智是智吗？

三连全对，令人惊喜。接着挑战更棘手的逻辑题，测试模型的哲学思辨能力：

第四回合：为什么近视的是眼睛，看不清的是未来？

第五回合：完美的人会不会因为缺少缺点而变得不完美？

第六回合：为什么等红灯是在等绿灯？

直接“出院”吧。连“弱智吧”这类睿智提问都能轻松应对，常识、数学、编程等问题更不在话下。感兴趣的朋友可以亲自体验。

除了基础能力扎实，360的对话模型还开放了4K、32K、360K三种文本长度。据了解，360K（约50万字）是目前国产开源模型中最长的上下文。（大叔连模型命名都要塞个彩蛋，营销鬼才无疑了）

所谓“上下文长度”，可以理解成大模型的视野范围。视野越长，模型回答问题所能参考的信息越全面，答案准确度自然更高。隔壁长文本标杆Kimi，内测的200万字长文本功能，不少用户等得脖子都长了，却鲜有人拿到资格。反观红衣大叔，格局确实大，一开源就给出了国内最长的上下文。

更关键的是，360K这个模型在中英文大海捞针测试中，准确率均超过98%。大海捞针测试很有意思：在浩如烟海的文本（大海）中藏一句无关的话（针），然后看模型能否精准找到。英文版360K达到98.27%，中文版也达到98.24%。

我们顺手将《三体》第一部与第二部全文喂给模型，测试长文本能力。问“四位面壁者和他们的破壁人分别是谁？”回答准确无误；问“庄颜最喜欢的画里写了什么字？”回答：“亲爱的，我们在末日等你。”——连这种细节都能精准提取。老板让我写的调研报告，这下有希望了。

为何能如此强大？关键在于技术路线：360没有采用滑动窗口Attention、跳跃Attention这类有损压缩方案，而是选择了超长文本的无损压缩技术。超长文本无损压缩最大的挑战是，序列越长训练复杂度呈平方级增长。而360智脑在训练长文本模型时采用了两阶段训练的方式：这种方式有效平衡了训练长度与训练效率，实现了高效的长文本拓展。

总的来说，360此次开源的7B大模型，连同微调训练代码、推理代码等全套工具集，开箱即用，在7B参数量级上确实堪称“遥遥领先”。此外，听说360计划将该开源模型与网红AI浏览器打包，即将推出端侧版本——断网也能用，千元显卡即可运行，对创业者而言无疑是一个福音。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：开源最长文本模型，兼具智慧与超长文本能力要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题