不同量级预训练数据对RoBERTa模型性能分析

本教程将带您深入探究一项关于预训练语言模型的前沿研究：在多样化的数据集规模（从1M到30B字符）上训练的RoBERTa模型，其语言能力究竟呈现出怎样的差异？我们借助分类探针、信息论探针、无监督可接受性判断以及NLU微调等多种评估手段，全面剖析模型在句法、语义、常识及知识表征方面的学习规律。无论您是NLP领域的初学者，还是经验丰富的研究者，都能从中获得清晰而深刻的洞察。

一、背景介绍：如何精准衡量模型的语言能力？

BERT类预训练模型已从海量无监督文本中习得强大的文本表征，但如何从语言学视角评估其真实学到的内容？为此，研究者设计了探针（Probe）任务。本文主要采用两种探针方式：边界探针（Edge Probing） 和 基于MDL的探针（Probing with MDL）。

1. 边界探针（E-Probe）

简单来说，E-Probe 是在预训练模型中间层插入的一个浅层神经网络（通常为分类器层）。示意图如下：

针对不同辅助任务，分类器的输入会有所变化：
- 实体标注任务：输入为某层区间的输出；
- 词性标注任务：输入为某层单个位置的输出。

关键要点：在训练辅助任务时，预训练模型的参数保持固定不变，仅更新分类头参数。由于每一层都能用于辅助任务，模型会学习一个可训练的权重向量，对各个层对应token的输出进行加权求和，作为最终表示。该权重还能直观反映信息在各层的分布情况。E-Probe 提供了一种简洁有效的方式，来衡量模型对语言学特征的表征能力。

2. 基于MDL的探针（M-Probe）

M-Probe 建立在 最小描述长度（MDL） 原理之上，有效弥补了 E-Probe 的不足。相比于 E-Probe 的“预测”模式，M-Probe 采用了“数据编码”思路：将分类头替换为概率模型，依据香农编码计算无损编码的最小长度。它不再依赖Accuracy等指标，而是通过编码长度来比较模型表现。其核心思想是：能够更好表达辅助任务特征的模型，其数据分布更规律，编码长度也就更短。如下图所示：

本文使用了在线编码版本的 M-Probe，以规避 E-Probe 因训练数据量差异导致的指标偏差。具体流程如下：

步骤：先将数据分割成大小不同的部分；首次训练时，两个模型的输入均为未压缩版本；在后续学习中，B的标签概率分布由A模型的编码结果提供。最终的总编码长度通过公式计算：前半部分为第一部分对K个类别的编码长度，后半部分为各数据团依据香农编码所需的长度。

综上，M-Probe 通过编码长度来度量预训练模型对语言学特征的提取能力。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：不同量级预训练数据对RoBERTa模型性能分析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题