李开复发布零一万物大模型AI20时代正式开启

11月初，AI领域传来一个重磅消息：由李开复博士领衔的零一万物公司，正式开源发布了其Yi系列大模型，包含34B和6B两个版本。

这次发布之所以引发广泛关注，关键在于其展现出的惊人效率。Yi-34B模型仅用了不及LLaMA2-70B一半、Falcon-180B五分之一的参数量，就在多项核心评测中超越了这些庞然大物。凭借这一表现，它迅速跻身全球顶级开源基础模型的行列。

根据Hugging Face英文开源社区和C-Eval中文评测的最新榜单，Yi-34B预训练模型拿下了多项SOTA性能指标，成为全球开源大模型的“双料冠军”。值得一提的是，这也是首个成功登顶Hugging Face全球开源模型排行榜的国产模型。

Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜（2023年11月5日）

“Yi”这个名字，源于中文“一”的拼音。其标志设计也别有深意：“Y”上下颠倒后形似汉字“人”，与AI中的“i”结合，寓意“Human + AI”，强调技术发展以人为本的核心精神。

零一万物创始人李开复博士在发布中表达了团队的雄心：“从写下第一行代码、设计第一个模型开始，我们的目标就是跻身全球第一梯队。” 从宣布进军AI 2.0到交出首份成绩单，零一万物的步伐清晰而迅速。

一、零一万物大模型 Yi 首次曝光

作为国产大模型，Yi-34B一个显而易见的优势是对中文语境更深的理解。对比GPT-4，在CMMLU、E-Eval、Gaokao等关键中文评测集上，Yi-34B展现出了相当的竞争力，这为其更好地服务本土市场奠定了基础。

当然，模型的实力更体现在综合能力上。在评估大模型通用能力的核心基准——如MMLU（大规模多任务语言理解）和BBH上，Yi-34B同样表现突出，在知识推理、阅读理解等多个维度评比中均取得领先，这与Hugging Face的评测结果相互印证。

各评测集得分：Yi 模型 v.s. 其他开源模型

在语言模型中，上下文窗口长度是衡量其综合处理能力的关键指标，直接决定了模型能理解和生成多长、多复杂的文本。更长的窗口意味着能消化更庞大的知识库，输出更连贯、精准的内容。

此次开源的Yi-34B模型，最引人瞩目的特性之一，便是其支持200K超长上下文窗口的版本。这意味着它能一次性处理约40万汉字的文本输入，足以理解超过1000页的PDF文档。在许多场景下，这种能力甚至可以替代需要额外构建的向量数据库。

对比来看，OpenAI的GPT-4上下文窗口为32K，约2.5万字。今年三月，Anthropic的Claude2将窗口扩展到了100K。而零一万物直接将这个数字翻倍，并且是首家在开源社区开放如此超长上下文窗口的大模型公司。

当然，扩展上下文窗口绝非易事，面临计算、内存和通信等多重挑战。受限于这些因素，此前多数大模型仅支持几千tokens的长度。为了突破限制，零一万物技术团队实施了一系列深度优化，包括计算通信重叠、序列并行、通信压缩等，最终在大规模训练中实现了近100倍的效率提升。

Yi系列模型亮眼成绩的背后，离不开其强大的AI基础设施（AI Infra）支撑。通过高精度系统、弹性训练和接力训练等全栈解决方案，团队确保了训练过程的高效与稳定。得益于此，Yi-34B模型的训练成本实测下降了40%，实际训练完成时间与预测时间的误差被控制在一小时以内。模拟推算，未来千亿规模模型的训练成本有望进一步降低50%。

截至目前，零一万物的Infra能力已实现故障预测准确率超90%，故障提前发现率达99.9%，无需人工干预的故障自愈率超过95%。

无论是台前的性能表现，还是幕后的技术攻坚，都源于零一万物数月来锤炼的一套“科学训模”方法论。大模型的效果极度依赖高质量数据，团队在数据处理管线上投入了巨大成本。通过将以往类似“炼丹”的玄学过程，转变为极度细致和科学化的管线与规模预测训练，不仅保障了当前模型的高性能，也为未来更大规模模型的训练压缩了时间和成本。

经过大量建模实验，团队自研出“规模化训练实验平台”，用于指导模型设计与优化。数据配比、超参搜索、模型结构等实验均可在此平台上进行小规模验证，其对34B模型每个节点的预测误差可控制在0.5%以内。

在开源首发日，李开复博士同时宣布，在完成Yi-34B预训练的同时，团队已旋即启动下一个千亿参数模型的训练。“我们的数据处理管线、算法研究、实验平台、算力资源和AI Infra都已就绪，接下来的动作会越来越快。”

二、从「AI 1.0」到「AI 2.0」

零一万物的首次成果亮相，不仅是一次技术展示，更揭示了其背后的商业逻辑与行业趋势。

今年3月，李开复博士阐述了AI从1.0迈向2.0时代的观点。随后，零一万物在此框架下成立，并吸引了前百度安全副总裁马杰、前微软副总裁祁瑞峰等众多技术精英加入，阵容堪称豪华。

回顾过去十年，深度学习催生了第一批AI明星公司，但随后行业经历了短暂低谷，甚至出现“AI泡沫”、“AI寒冬”的讨论。其根源在于，AI 1.0时代的技术公司在商业化落地上的步伐，比预想中要缓慢。

然而，自去年Stable Diffusion掀起AIGC热潮，特别是ChatGPT发布以来，全球AI行业看到了全新的机遇。这个新阶段，正是李开复所定义的“AI 2.0”。

ChatGPT之后，技术进步体现在通用人工智能（AGI）雏形初显，而商业应用则呈现出平台级爆发的趋势。这个“平台”的核心目标，是大幅降低开发AI应用的成本。可以类比电与电网：电是伟大发明，但只有建成了电网，微波炉、电动汽车等创新应用才得以涌现。AI 2.0之于1.0，正是将技术转化为平台，从定制走向通用，从单点突破扩展到全面赋能。

过去十年的实践验证了AI 1.0的瓶颈：数据越多效果越好，但依赖大量人工标注，成本高昂；且应用多是垂直领域的“孤岛”，难以互联互通形成生态。

AI 2.0的技术基石则是自监督学习，模型无需标注也能从海量跨领域数据中学习，形成一个具备世界知识的基础模型（即大模型）。在此基础上进行微调，就能快速适配不同任务。这带来了三大优势：减少人工标注、模型具备通用知识、微调成本极低。因此，AI 2.0时代，每个行业都有机会用大模型重构原有应用，以更短时间、更低成本生产高质量内容，实现精准化、个性化服务，催生更伟大的商业模式。

要实现这一愿景，两大关键挑战必须攻克：一是降低训练成本，这是催生海量应用的前提；二是突破长文本处理瓶颈，这是解锁高阶应用（如处理长篇合同、交叉分析论文、基于长剧本进行创作、研读多份财报等）的钥匙。

正因如此，“长文本处理”在下半年成为大模型赛道的必争之地。自Anthropic向OpenAI发起挑战后，国内厂商也纷纷取得突破：月之暗面的Kimi Chat支持20万字，百川智能的Baichuan2支持35万字，而零一万物的Yi-34B则将上限推至40万字。

此次开源的Yi-34B模型支持200K上下文窗口、处理40万字文本，正是李开复AI 2.0思想的直接实践。同时，依托底层计算设施与算法优化，其训练成本下降了40%。

模型上传至Hugging Face后，迅速获得社区关注，两天内下载量即突破千次，收获近150次点赞。

长文本技术的突破，不仅是Token数字的游戏，更深层的意义在于，它体现了整个行业对AI 2.0时代商业潜力的共识与信心。正是这种信心，吸引了大量顶尖人才涌入，才能在短时间内快速攻克一个又一个技术难关。

目前，攻克长文本的主流技术方法包括直接堆叠显存、滑动窗口、降采样，或在注意力机制中进行动态插值等。这些方法效果显著，但计算开销巨大。好在，随着各大云厂商的持续投入，算力壁垒正在被逐渐打破。

毫无疑问，AI正迈入一个全新的时代。AI 2.0描绘了一个广阔的商业愿景，道路虽长，参与者众，而作为后来者的零一万物，已然展现出成为其中重要一员的潜力。接下来的表现，值得期待。