语言模型性能评估必备下游数据集：ZeroCLUE、FewCLUE与Chinese_WPLC详解

在开发大模型时，如何通过下游任务对模型进行高效反馈与评估，是加速模型迭代的关键环节。为了帮助开发者更好地掌握和应用这些评估工具，本文系统梳理了两类常用的下游任务数据集：**ZeroCLUE/FewCLUE** 与 **中文长下文词语预测 (Chinese WPLC)**。以下将详细解析它们的特点、构成与实际使用方式。

一、ZeroCLUE/FewCLUE 数据集

这两个数据集分别对应**零样本学习（Zero-shot Learning）** 和**小样本学习（Few-shot Learning）** 场景。简单来说，零样本学习要求模型能够识别从未见过的类别，而小样本学习则侧重于在仅有极少量标注数据的情况下完成任务。它们已成为评估模型泛化能力的重要基准。

项目地址： ZeroCLUE | FewCLUE

该系列共包含 9 个不同类型的子任务，覆盖情感分析、文本分类、自然语言推理、语义匹配等多种场景：

• 1. EPRSTMT: 电商评论情感分析

  数据量：训练集（32），验证集（32），公开测试集（610），测试集（753），无标签语料（19565）
  例子：
  {"id": 23, "sentence": "外包装上有点磨损，试听后感觉不错", "label": "Positive"}
  每一条数据有三个属性，从前往后分别是 id,sentence,label。其中 label 标签，Positive 表示正向，Negative 表示负向。

• 2. CSLDCP: 科学文献学科分类

  中文科学文献学科分类数据集，包括67个类别的文献类别，这些类别来自于分别归属于13个大类，范围从社会科学到自然科学，文本为文献的中文摘要。
  数据量：训练集（536），验证集（536），公开测试集（1784），测试集（2999），无标签语料（67）
  例子：
  {"content": "通过几年的观察和实践，初步掌握了盆栽菊花的栽培技术及方法，并进行了总结，以满足人们对花卉消费的需求，提高观赏植物的商品价值，为企业化生产的盆菊提供技术指导。",
  "label": "园艺学", "id": 1770}
  {"content": "GPS卫星导航定位精度的高低很大程度上取决于站星距离(即伪距)的测量误差.载波相位平滑伪距在保证环路参数满足动态应力误差要求的基础上。。。本文详细论述了载波相位平滑伪距的原理和工程实现方法,并进行了仿真验证.",
  "label": "航空宇航科学与技术", "id": 979}
  每一条数据有三个属性，从前往后分别是 id,sentence,label。其中label标签，Positive 表示正向，Negative 表示负向。

• 3. TNEWS: 新闻分类

  该数据集来自今日头条的新闻版块，共提取了15个类别的新闻，包括旅游、教育、金融、军事等。
  例子：
  {"label": "102", "label_des": "news_entertainment", "sentence": "江疏影甜甜圈自拍，迷之角度竟这么好看，美吸引一切事物"}
  每一条数据有三个属性，从前往后分别是 分类ID，分类名称，新闻字符串（仅含标题）。

• 4. IFLYTEK: APP应用描述主题分类

  该数据集关于app应用描述的长文本标注数据，包含和日常生活相关的各类应用主题，共119个类别："打车":0,"地图导航":1,"免费WIFI":2,"租车":3,….,"女性":115,"经营":116,"收款":117,"其他":118(分别用0-118表示)。
  例子：
  {"label": "110", "label_des": "社区超市", "sentence": "朴朴快送超市创立于2016年，专注于打造移动端30分钟即时配送一站式购物平台，商品品类包含水果、蔬菜、肉禽蛋奶、海鲜水产、粮油调味、酒水饮料、休闲食品、日用品、外卖等。朴朴公司希望能以全新的商业模式，更高效快捷的仓储配送模式，致力于成为更快、更好、更多、更省的在线零售平台，带给消费者更好的消费体验，同时推动中国食品安全进程，成为一家让社会尊敬的互联网公司。,朴朴一下，又好又快,1.配送时间提示更加清晰友好2.保障用户隐私的一些优化3.其他提高使用体验的调整4.修复了一些已知bug"}
  每一条数据有三个属性，从前往后分别是 类别ID，类别名称，文本内容。

• 5. OCNLI: 自然语言推理

  OCNLI，即原生中文自然语言推理数据集，是第一个非翻译的、使用原生汉语的大型中文自然语言推理数据集。数据量：训练集（32），验证集（32），公开测试集（2520），测试集（3000），无标签语料（20000）
  例子：
  {"level":"medium","sentence1":"身上裹一件工厂发的棉大衣,手插在袖筒里","sentence2":"身上至少一件衣服","label":"entailment","label0":"entailment","label1":"entailment","label2":"entailment","label3":"entailment","label4":"entailment","genre":"lit","prem_id":"lit_635","id":0}

• 6. BUSTM: 对话短文本匹配

  对话短文本语义匹配数据集，源于小布助手。它是OPPO为品牌手机和IoT设备自研的语音助手，为用户提供便捷对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。要求根据短文本query-pair，预测它们是否属于同一语义。数据量：训练集（32），验证集（32），公开测试集（1772），测试集（2000），无标签语料（4251）
  例子：
  {"id": 5, "sentence1": "女孩子到底是不是你", "sentence2": "你不是女孩子吗", "label": "1"}
  {"id": 18, "sentence1": "小影,你说话慢了", "sentence2": "那你说慢一点", "label": "0"}

• 7. CHID: 成语阅读理解

  以成语完形填空形式实现，文中多处成语被mask，候选项中包含了近义的成语。https://arxiv.org/abs/1906.01265
  数据量：训练集（42），验证集（42），公开测试集（2002），测试集（2000），无标签语料（7585）
  例子：
  {"id": 1421, "candidates": ["巧言令色", "措手不及", "风流人物", "八仙过海", "平铺直叙", "草木皆兵", "言行一致"],
  "content": "当广州憾负北控,郭士强黯然退场那一刻,CBA季后赛悬念仿佛一下就消失了,可万万没想到,就在时隔1天后,北控外援约瑟夫-杨因个人裁决案(拖欠上一家经纪公司的费用),导致被禁赛,打了马布里一个#idiom#,加上郭士强带领广州神奇逆转天津,让...", "answer": 1}

• 8. CSL: 摘要判断关键词判别

  中文科技文献数据集(CSL)取自中文论文摘要及其关键词，论文选自部分中文社会科学和自然科学核心期刊，任务目标是根据摘要判断关键词是否全部为真实关键词（真实为1，伪造为0）。数据量：训练集（32），验证集（32），公开测试集（2828），测试集（3000），无标签语料（19841）
  例子：
   {"id": 1, "abst": "为解决传统均匀FFT波束形成算法引起的3维声呐成像分辨率降低的问题,该文提出分区域FFT波束形成算法.远场条件下,以保证成像分辨率为约束条件,以划分数量最少为目标,采用遗传算法作为优化手段将成像区域划分为多个区域.在每个区域内选取一个波束方向,获得每一个接收阵元收到该方向回波时的解调输出,以此为原始数据在该区域内进行传统均匀FFT波束形成.对FFT计算过程进行优化,降低新算法的计算量,使其满足3维成像声呐实时性的要求.仿真与实验结果表明,采用分区域FFT波束形成算法的成像分辨率较传统均匀FFT波束形成算法有显著提高,且满足实时性要求.", "keyword": ["水声学", "FFT", "波束形成", "3维成像声呐"], "label": "1"}
   每一条数据有四个属性，从前往后分别是 数据ID，论文摘要，关键词，真假标签。

• 9. CLUEWSC: 代词消歧

  Winograd Scheme Challenge（WSC）是一类代词消歧的任务，即判断句子中的代词指代的是哪个名词。题目以真假判别的方式出现，如：
   句子：这时候放在[床]上[枕头]旁边的[手机]响了，我感到奇怪，因为欠费已被停机两个月，现在[它]突然响了。需要判断“它”指代的是“床”、“枕头”，还是“手机”？从中国现当代作家文学作品中抽取，再经语言专家人工挑选、标注。
   数据量：训练集（32），验证集（32），公开测试集（976），测试集（290），无标签语料（0）
  例子：
    {"target": {"span2_index": 37, "span1_index": 5, "span1_text": "床", "span2_text": "它"},  "idx": 261,  "label": "false",
    "text": "这时候放在床上枕头旁边的手机响了，我感到奇怪，因为欠费已被停机两个月，现在它突然响了。"}
   "true"表示代词确实是指代span1_text中的名词的，"false"代表不是。

热点追踪提示词 一键复制

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：语言模型性能评估必备下游数据集：ZeroCLUE、FewCLUE与Chinese_WPLC详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题