百花齐放大模型，如何选出最适合你的那款

推荐语：大模型竞争激烈，选择困难？本文教你从三方面评测，找到最适合的！
核心内容：
1. 大模型竞争现状与格局
2. 大模型评测的原因
3. 大模型评测的具体内容

自从ChatGPT火爆出圈，2023年国内立刻掀起了“百模大战”，据说有近百家公司争先打造自己的大模型，人人都想成为中国的“OpenAI”。

一时间，大模型战场硝烟四起，直到2024年结束后，局面才逐渐稳定下来。最后能留在赛场上的大模型公司所剩无几——毕竟这是一场巨大的“烧钱”游戏。

大模型公司属于AI行业的上游，提供最基础的大模型能力；而处于中游的AI技术公司和AI应用公司，则借助大模型能力发展自身的业务。事实上，能做大模型公司的毕竟是少数，专注于AI技术的公司也并不多，最多的还是处于中下游的AI应用公司，直接调用大模型能力。

问题来了：目前市面上仍有好多家大模型厂商，在选择大模型的时候，到底应该选哪一家？

这就要涉及大模型评测了。下面从三个方面简单介绍大模型评测的内容：为什么要评测？评测什么？如何评测？

01 为什么要测评大模型？

没有最好的，只有最合适的。无论对于个人，还是公司，或者独立开发者，在使用大模型之前，肯定要做好模型选型——这和之前开发系统做技术选型是一个道理。

对于不同的模型，需要使用一定的衡量标准去评测它们在不同方面的能力表现。这样，个人用户可以了解大模型的优劣，开发者可以掌握模型的边界属性，管理机构可以减少大模型带来的社会风险，产业界可以了解与目标模型相契合的应用交叉方法。

那么，该测评大模型哪些方面的能力呢？

02 评测大模型什么能力？

大模型能力有几个核心指标，比如模型的准确性、丰富度、能力涌现等。针对这些核心指标，可以延伸出需要评测的具体能力：模型的知识储备、推理能力、语言能力、长文本能力、多轮对话能力、情感能力、认知能力，以及价值观等。

拿知识储备举例，你可以把大模型想象成一位同时具备各种学科知识的大学生，测测它在经济学、教育学、法学、文学、管理学、理学、历史学、医学、军事学等学科上的表现。还可以把它当成具备某种技能的专业人士，比如代码能力、写作能力、绘画能力等。

另外，如果是一家公司想要用大模型能力来赋能自身业务，或者提高企业内部的流程和员工工作效率，那就可以针对性地准备测试集，对大模型进行评测。比如说，一家汽车领域的公司，需要大模型知道汽车行业的通用知识，那就准备好对应的题目，直接对大模型提问，看看它在特定垂直领域的知识储备——不同大模型的表现肯定会有所差异。

公司可以根据大模型的能力表现，做出综合的模型选择决策。那么，具体该如何评测大模型的能力呢？

03 如何评测大模型的能力？

主流方式有三种：自动化客观评测、人机交互评测、基于大模型的大模型评测。

自动化客观评测：借助一定的评测平台，比如国内的OpenCompass，在这些平台上完成对各种大模型能力指标的对比评测。

人机交互评测：由人工准备好测试数据集，然后手动对大模型的能力进行评测。

基于大模型的大模型评测：使用能力较高的大模型去完成小模型的能力评测。

具体评测的过程，可以准备选择题，也可以准备主观题，然后把题目丢给大模型或评测平台，通过大模型的回答来统计最后的得分。这个过程很像心理学上的问卷评测：拿准备好的题目，分发给大量的被试，再收集问卷，对题目得分进行统计分析，最后得到被试在某个心理特征上的统计表现。

尾声

大模型能力的评测工作自从大模型诞生以来，就一直在不断地进行着。各大模型厂商都希望自家的大模型能在榜单上有亮眼的成绩，这样也能吸引更多用户、带来更多订单。

而作为大模型能力的使用者，在真正做模型选型决策时，不会仅仅考虑大模型能力这一个维度，还会综合考虑其他因素，比如合规性、安全性、部署成本、维护成本等一系列模型以外的相关因素。

无论如何，大模型厂商之间的竞争越激烈，其实越利好AI行业下游的使用者——谁都希望用到又便宜又好用的大模型能力。从目前的发展趋势来看，这一现象正在逐渐成为现实，尤其是国内以字节跳动为代表的大模型厂商，已经把调用token的价格压到了白菜价。

这更加说明，未来大模型能力和AI能力，将成为经济活动和日常生活中的基础设施，就像水、电、网一样，惠及千家万户和各行各业。

AI已来，未来已来。那么，你准备好了吗？

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：百花齐放大模型，如何选出最适合你的那款要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题