LalaEval面向领域大模型端到端人工评测框架

企业大模型落地，评测是绕不开的坎儿。通用大模型评测方法论不少，但到了具体的垂直行业，尤其是货运这样既涉及通用能力又高度依赖领域知识的场景，怎么构建一个真正管用、能闭环驱动模型优化的评测体系，这个问题一直没被很好地解决。今天要聊的这套名为“LalaEval”的框架，正是针对这一痛点设计的。核心挑战很简单：如何构建适合自己领域的大模型？如何根据业务需要灵活生成评测集，而不是拿着通用数据集“碰运气”？如何通过标准化流程把人工评测的主观性降到最低？以及，如何自动发现评测集中那些低质量的问答对和有问题的评分？

痛点

企业在拥抱大模型时，经常会遇到几个非常具体、又非常头疼的问题：

• 如何构建适合自己领域的大模型？
• 如何灵活地根据业务需要来生成评测集，进而充分发挥企业内部数据的价值？
• 如何通过标准化人工评测流程来减少人工的主观性？
• 如何自动化地发现评测集生成过程中的低质量的 QA 对和评分？

解决办法

针对这些挑战，我们建立了一套依赖于争议度分析和评分波动分析来自动纠正人工主观性错误的人工评测框架 “LalaEval”。它能根据业务场景动态生成高质量的 QA 对，进而指导领域大模型的构建和迭代优化。

2.1 特点

这个框架的独特之处可以总结为以下几点：

1. 建立了端到端的领域大模型评测体系，直接填补了货运领域大模型评测的空白。
2. 明确定义了框架设计、题库建设、评分、结果输出等各个环节的关键步骤，使得这套方案在不同领域间的可拓展性很高。
3. 采用单盲测试原理，确保评分过程的客观与公正。
4. 构建了评分争议度、题目争议度、评分波动性三大分析框架，能够自动化地实现评分结果质检、低质量 QA 对二次识别，以及对评分波动原因的量化归因。

LalaEval 一共分为五部分：领域范围界定、能力指标构建、评测集生成、评测标准制定、结果统计分析。

领域范围界定

3.1 后向归纳法

这一步遵循 MECE 原则（Mutually Exclusive, Collectively Exhaustive，即相互独立，完全穷尽），从最底层的子领域（例如 Intracity Freight Transportation，同城货运）逐步上升到包含更广泛的子域。这个做法的好处是，能确保领域划分没有遗漏，层级逻辑清晰。

3.2 定性优先级划分

由于我们的核心业务是“同城货运”，所以“同城货运”的优先级最高（P0），后续构建评测集中其所占的数量比重也最高；距离“同城货运”越远，优先级越低。这确保了评测资源能集中在最能体现模型价值的核心业务上。

能力指标构建

这部分分为通用能力和领域能力两层来设计。

4.1 通用能力

选取指标的逻辑是：覆盖大模型作为通用智能体的基础要求。

具体指标：

• 语义理解
• 上下文对话
• 回答的完整性和连贯性
• 事实准确性
• 创造力
• 逻辑推理

4.2 领域能力

选取指标的逻辑是：紧扣货运行业的深度知识。

具体指标：

• 概念和术语理解
• 公司信息
• 法律和政策知识
• 行业洞察
• 公司特定知识
• 物流环境中的创造能力

评测集生成

5.1 原始语料积累

根据领域范围的界定，按领域整理信息源，确保原始语料来源可追溯，质量达标。这是所有后续步骤的基础。

5.2 QA对的生成

• 问答计划的制定：规划所需数量的 QA 对，并按难度级别和能力维度进行分类。
• 出题人的选择：出题人应具备深入理解评测框架的能力。
• QA 对的创建：一个 QA 对需要包含：一个问题、对应的标准答案、信息来源。这确保了可追溯性和可信度。

5.3 质检和入库

对所有生成的 QA 对进行全面的质量检查，未能达标的 QA 对要进行改进，才能进入题库。

评测标准制定

6.1 打分标准

评分标准采用 0～3 分：

1. 0 分：回答包含错误信息
2. 1～3 分：衡量回答的正确性、完整性、创造性等

细则会明确每个分数段对应的具体表现。

6.2 单盲测试

采用单盲评测来保障公平性。不同模型生成的回应以随机顺序呈现给评测员，评测员不知道当前在评的是哪个模型，从而最大程度减少主观偏见。

6.3 评测员的培训

评测员的选拔：评估员应从具有领域专业知识的候选人池中选出。

培训方法：采用基于示例的培训方式，让评测员通过案例理解评分标准。

试评测：此过程中，需要判断是个别评估员的问题，还是评估标准本身存在模糊之处。

评测质量保证：对于题目评分不一致的评测员，提供更多示例以帮助澄清评测标准，直至达标。

部署标准：评测员只有在试评测中达到一致性阈值后，才会被部署到实际生产环境中。

结果统计分析

7.1 评分计算

汇总的得分表格遵循 AS_jki 的格式，其中 AS_jki 表示在 j 能力维度下，评测员 i 对于问题 k 的打分，取值范围 [0, 3]。

得分计算：

1. 针对模型 q 的能力维度 j（比如模型 GPT-4 的语义理解能力），模型得分 Score(qj) 的计算方式是：模型的总得分（所有评测员对于所有问题的评分直接加和）除以分数上限。这样将 Score(qj) 归一化到 [0, 1] 区间内。如果任何评测员对于任何问题都给出满分，则 Score(qj) = 1。模型总得分 Score(q) 为各个 Score(qj) 的平均值。

7.2 争议度分析

1. 评分人争议度（评分人数 ≥3 时才可计算）：自动识别潜在低质量评分和评分人。

• 如果一个评测员的打分与“多数人的打分”不一致，就视为“争议打分”。系统会找出“争议打分”较多的评测员。如果判断确实是评测员的问题，则进行二次宣导，并考虑当次打分作废。
• 评分人争议度 = “争议打分”的数量 / 这个评分人的总打分数量

2. 题目争议度（评分人数 ≥4 时才可计算）：自动识别潜在低质量 QA 对。

• “题目争议度”由“题目歧义度”和“争议打分比例”加权平均计算。
• 如果一个 QA 对，一半人打出了“争议打分”，即对于某个题目 k 和某个模型 q 的回答：“多数人的打分”数量 ≈ “争议打分”数量，这道题就被认为是“歧义”。“题目歧义度” = 遍历每个模型的回答，被认为“歧义”的次数。
• “争议打分比例” = 这个题目遭遇到的“争议打分”的数量 / 被打分的总数量
• 列出争议度前几的题目，如果 QA 对的质量不达标，则将题目作废，并对出题人就出题标准进行二次宣导。

7.3 评分波动分析

若同一模型在前后两次评测中产生了较大的分数变化，则需要对变化做出归因及解释。

1. 波动原因拆解：按照 MECE 原则，拆解成 4 种原因——题目本身变化、模型自身回答变化、同一评分人的评分不一致、评分人变更。

2. 应对措施：

• 题目问题：包括题目本身变化（需分析优化具体题目）和模型自身回答变化（可能是题目存在歧义，需优化题目）。
• 评分人问题：包括同一评分人的评分不一致（需深入沟通找原因）和评分人变更（需对新评分人进行系统化培训）。

3. 量化方法：按“QA 对的 Q 和 A 是否相同”以及“评分人是否相同”可拆解成 6 种情况。分别计算这 6 种情况下前后两次评分差异，再进行一定聚合，便可量化 4 种波动原因对总评分变化的贡献。

结果呈现

参与测评的模型包括 OpenAI 的 GPT-4（无网络访问）、百度的文心一言（有网络访问），以及 PLLM1/2/3 —— 它们是基于 ChatGLM2-6B 基础模型的不同版本，分别通过网络访问、RAG，以及两者的组合进行微调。

8.1 评估结果

1. 模型的准确性（Table 3）：展示了在不同能力维度上取得非零评分的回答比例。

2. 归一化后的平均分数（Table 4）：

3. 按比例将分数归一化到 [0, 100]（Table 9）：

4. 各个能力维度的分歧度（Table 10）：分歧度越高，说明评测员的打分越难形成一致的共识。从结果看，创造力相关的能力分歧度最高，这也符合预期——每个人对于创造力的理解确实不太一致。

总结

最后，用几张图快速回顾整个框架的核心要点：

• 领域范围界定：MECE 原则、后向归纳法、定性优先级划分。
• 能力指标构建：6 个通用能力指标，6 个领域能力指标。
• 评测集生成：原始语料积累、QA 对生成、质检和入库。
• 评测标准制定：打分标准（0～3分）、单盲测试、评测员的培训。
• 结果统计分析：评分计算、争议度分析（评分人和题目）、评分波动分析。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：LalaEval面向领域大模型端到端人工评测框架要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题