让LLM评判：自己设计评估提示词的方法

掌握LLM评估技巧，是提升模型性能的关键环节。本文将深入解析如何设计高效的评估prompt，帮助您更精准地衡量模型输出质量。

核心内容：

1. 通用prompt设计原则与应用方法
2. 精细评估标准与推理步骤详解
3. 成对比较与输出评分的优势分析

通用 prompt 设计建议

当前互联网上关于通用prompt的设计原则，大致可以归纳为以下几个方面：

• 任务描述清晰：明确告知模型需要完成什么任务。例如：Your task is to do X (你的任务是X)，以及You will be provided with Y (你拿到的信息是Y)。
• 评估标准精细，评分细则详尽（如有必要）：例如要求模型You should evaluate property Z on a scale of 1 - 5, where 1 means ... (根据属性Z的表现进行评分，评分范围为1-5，其中1分表示……)；或者You should evaluate if property Z is present in the sample Y. Property Z is present if ... (请指出样本Y中是否具备属性Z，如果具备，那么……)。
• 加入推理步骤：要求模型在评估之前先进行逻辑推导。例如：To judge this task, you must first make sure to read sample Y carefully to identify ..., then ... (评估此任务之前，请先仔细阅读样本Y，识别出……，然后再……)。
• 输出格式明确：指定输出结构可以大幅提升结果一致性。例如：Your answer should be provided in JSON, with the following format {"Score": Your score, "Reasoning": The reasoning which led you to this score} (以JSON格式回答，格式为{"Score": 评分, "Reasoning": 评分推理过程})。

至于prompt的具体写法，可以借鉴现有的成熟模板，例如“LLM-as-a-Judge”系列中常用的范式。

其他值得注意的要点：

• 成对比较通常比直接评分更稳健：在对比两个输出时，让模型判断“哪一个更好”往往比赋予绝对分数更加可靠。
• 如果任务确实需要输出具体评分值，建议使用整数，并详细描述每个分数对应的标准。例如：provide 1 point for this characteristic of the answer, 1 additional point if ... (回答具备某项特性得1分，如果……再加1分)。
• 尽量为每项评估能力单独设计prompt：一个prompt只评价一个维度，结果会更加准确且鲁棒。

提升评估准确性

若想进一步提高评估的准确性（当然，这可能会增加成本），可以尝试以下方法：

• Few-shot示例：在prompt中加入少量范例，帮助模型理解任务和推理方向。代价是会增加上下文长度。
• 引用参考：提供参考文档或标准答案，能够显著提升模型输出的准确性。
• 思维链（CoT）：要求模型在给出评分之前先写出推理过程，效果十分显著（可参考相关论文）。
• 多轮分析：对同一输出进行多次评估，逐步细化判断结果。
• 陪审团机制：汇总多个评价模型的输出结果。具体做法有两种：一是用多个小模型替代一个大模型，可大幅降低成本；二是对同一个模型使用多个不同的温度参数进行多次实验，然后取平均或投票。
• 奖励机制：社区意外发现，在prompt中加入类似“回答正确将得到一只小猫”的奖励语句，有时能提高回答正确率。不过该效果因场景而异，可以灵活尝试。

注：若要减少模型偏见，可以借鉴社会学问卷设计中的方法，根据具体使用场景撰写prompt。如果想用模型替代人工评估，不妨设计类似的评价指标——例如计算标注员一致性，使用正确的问卷设计来减少偏见。

当然，在实际应用中，大多数人并不需要完全可复现、高质量、无偏的评估。一个快速且略显粗糙的prompt往往就能满足需求——只要清楚这样做的局限性，并接受可能的后果，这完全是一种可以接受的策略。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：让LLM评判：自己设计评估提示词的方法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题