EmoNet说话人感知Transformer情感识别与2026年重构

2024年3月，我提交了关于对话情绪识别（ERC）的硕士论文。所提出的模型EmoNet在EmoryNLP数据集上取得了39.18的加权F1分数——这一成绩在当时PapersWithCode排行榜上与TUCORE-GCN_RoBERTa（39.24）和S+PAGE（39.14）旗鼓相当，相比我选定的基线模型CoMPM提升了+1.81 F1。

两年后重新审视，这个领域的面貌已焕然一新。排行榜榜首不再是那些带有精巧注意力头的纯编码器模型，取而代之的是基于LLaMA-2-7B、采用LoRA微调和检索增强提示的系统：InstructERC、CKERC、BiosERC、LaERC-S。方法变了，算力变了，整个思维方式也彻底改变了。

但有意思的是，当我仔细阅读这些新论文时，我在EmoNet中提出的核心思想，其实都被它们以不同的技术层级实现了。这就是我今天要讲述的故事——我当初做了什么，它在当时处于什么位置，以及如果现在重新起步，我会如何构建它。

ERC是什么，以及纯文本为何如此困难

对话情绪识别，旨在为多轮对话中的每一句话分配一个情绪标签。它与单句情感分析的关键区别在于：一句话的情绪在很大程度上受到前文和说话者身份的影响。

来看EmoryNLP数据集中这个来自《老友记》的例子：

莫妮卡：温蒂，我们说好的！你答应过的！温蒂！温蒂！温蒂！ [愤怒]

瑞秋：那是谁？ [中性]

莫妮卡：温蒂爽约了。我没有服务员了。 [愤怒]

单看“那是谁？”这句话，情绪是中性的。这个“中性”标签只有在上下文中才有意义——它夹在不同说话者的两句愤怒话语之间，ERC模型必须捕捉到这种对话动态。

还有第二个棘手的问题：多模态信息是缺失的。在真实对话中，语气、面部表情和身体语言承载着大量情绪信号。纯文本ERC剥离了这一切。同样的“哦，太好了。”这句话，可以是真诚的，也可以是讽刺的，而文本本身往往无法区分。

这种信息损失是核心挑战所在。你必须从比人类判断标准更嘈杂的信号中提取情绪。

2024年的技术景观

在2023年底开始我的论文时，EmoryNLP排行榜上主导的是各种带有巧妙改进的Transformer架构。简单回顾一下：

– KET（Zhong等人，2019）——知识增强Transformer，带有情感图注意力，是第一篇将Transformer引入ERC的论文。

– DialogueGCN（Ghosal等人，2019）——图卷积网络，将对话转化为节点分类问题。

– RGAT（Ishiwatari等人，2020）——关系感知图注意力，包含用于说话者依赖的关系位置编码。

– DialogXL（Shen等人，2020）——适配了XLNet，加入了话语循环和对话自注意力。

– HiTrans（Li等人，2020）——分层Transformer，以成对话语说话者验证作为辅助任务。

– TUCORE-GCN（Lee & Choi，2021）——异质对话图，结合了说话者感知的BERT。

– CoMPM（Lee & Lee，2021）——将对话上下文与说话者的预训练记忆追踪相结合。

我选择CoMPM作为基线有两个原因。第一，它明确地将说话者的预训练记忆建模为一个独立的模块——这符合我的直觉：谁说和说什么同样重要。第二，它的架构足够模块化，不需要从头重写就能扩展。CoMPM论文表明，向上下文模型添加预训练记忆带来了可衡量的提升——但他们的说话者身份仍然局限于单个对话内部。一旦新对话开始，模型学到的关于说话者的一切就被丢弃了。

这看起来是一个值得解决的问题。

三个贡献及其背后的直觉

1. 全局说话者身份

问题所在。在CoMPM和大多数前期工作中，说话者ID的作用域仅限于单个对话。场景1中的说话者A与场景14中的说话者A没有任何关联，即使他们是同一个人。因此，每个对话都是从零开始。

直觉。每个人都有其特有的情绪模式。莫妮卡会在特定事情上发火；菲比总是乐呵呵的；罗斯则会有可预测的不安时刻。如果模型能够在跨对话中携带关于“这个特定说话者”的信息，那么在说话者再次出现时，它就能做出更准确的预测。

实现方式。整个数据集中每个独特的说话者都会获得一个稳定的、数据集范围内的ID。莫妮卡·盖勒第一次出现时，她被分配了一个ID——比如ID 7——这个ID会一直跟随她。之后每一次出现——跨剧集、跨季、跨场景——她都是ID 7。这样，模型就能学习到持续的、说话者特定的模式。

这听起来事后诸葛亮。但在2024年，排行榜上的模型并非如此运作。

2. 说话者行为模块

问题所在。仅靠全局说话者身份只是一个标签。要让其发挥作用，模型需要利用说话者的累积历史。如何让Transformer能够访问“莫妮卡在这个数据集中说过的所有话”，而不至于撑爆上下文窗口或让训练变得不可行？

直觉。循环。GRU天然适合将说话者的历史话语顺序压缩成一个固定大小的表示。最近的话语贡献更大，较早的则逐渐稀释。一个可配置的滑动窗口限制了GRU的输入——比如该说话者最近的N句话——从而让计算和内存保持可预测。

实现方式。每个话语都由预训练的RoBERTa骨干网络独立编码。生成的嵌入流入单向GRU。GRU的最终隐藏状态——称之为 `kt` ——代表了说话者当前时刻的行为模式。它被投影到与对话上下文输出相同的维度并相加。合并后的信号供给最终的分类器。

这个架构在结构上类似于CoMPM的预训练记忆模块，但有两个关键区别：说话者历史池是全局的（不限于当前对话），并且GRU明确建模了时间衰减。

3. 加权交叉熵损失

问题所在。EmoryNLP数据集是不平衡的——中性类别的数量大约是悲伤类别的4.5倍。大多数论文通过数据增强或欠采样来处理。但对话数据是序列性的：丢弃或复制话语会扭曲自然的情绪流动，而这正是模型试图学习的关键信号。

直觉。如果不能安全地改变数据，那就改变损失函数。对稀有类别给予更高的权重，这样一次对“悲伤”的误分类对模型的惩罚，会比一次对“中性”的误分类更大。

实现方式。基于逆类别频率计算每个类别的权重，然后归一化。没什么高深莫测的——但以对话序列特性作为明确动机，这使得它成为一个有原则的选择，而非随意之举。

结果：什么有效，以及什么让我惊讶

这是论文中的消融实验表：

让我惊讶——也是我认为这项工作中最诚实的一部分——是第二行。仅仅添加全局说话者ID就让模型性能大幅下降（F1从37.85降到了29.43）。起初看起来像是失败。

但事实并非如此。全局说话者身份是一种能力——它赋予了模型学习长期说话者模式的能力。但单独来看，这种能力造成了模型其余部分无法吸收的表示负担。只有当说话者行为模块被添加进来——为模型提供了一种使用全局身份的结构化方式——这种贡献才显现出来。在最终配置中，EmoNet恢复并超越了CoMPM基线，提升了1.81 F1。

这是我从中得到的教训：一个特性本身没有价值，它的价值在于与消费它的机制相结合。那些报告“这次添加给我们带来了+X%”的研究论文，常常隐藏了那些添加本身让事情变得更糟的消融行。我选择保留那一行。

完整的模型在处理“中性”、“喜悦”和“害怕”时表现良好。“强大”仍然是最难的类别——部分因为它稀有，部分因为在没有声学线索的文本对话中，“强大”和“喜悦”几乎无法区分。这是一个伪装成文本问题的多模态问题。

反思（2026年）：领域已经改变，我们也应该改变

两年过去，EmoryNLP排行榜已经面目全非。领先的系统现在是：

– InstructERC（Lei等人，2023）——将ERC重构为生成式LLM任务。它使用检索增强的指令模板和辅助任务，如说话者识别和情绪预测，来更好地建模对话角色和情绪动态。

– CKERC（Fu，2024）——引入了常识增强的ERC。对于每句话，LLM会生成关于说话者意图和可能听者反应的常识性注释，提供了超越显式对话上下文的隐含社交和情感推理。

– BiosERC（Xue等人，2024）——将LLM生成的说话者传记信息注入ERC过程，使模型不仅能基于话语上下文推理，还能基于说话者特定特征进行推理。

– LaERC-S（Fu等人，2025）——两阶段指令微调。第一阶段：赋予LLM说话者特定特征。第二阶段：在ERC任务本身中使用这些特征。

仔细看看最后两个。

BiosERC的说话者传记信息，本质上就是全局说话者身份的升级版——只不过用一个LLM可以关注的文本档案代替了整数ID。LaERC-S的说话者特征，本质上就是说话者行为模块——让模型可以利用历史说话者模式——但将其融入了指令微调中，而不是作为一个独立的GRU实现。

架构上的直觉经受住了考验。只是实现层面发生了变化。

这是我觉得真正有趣的部分。当我在2024年研究EmoNet时，我的思考局限在纯编码器Transformer范式中：“我该如何向架构中添加另一个模块？”而2024-2025年的论文则是在LLM范式中思考：“我该如何将这个想法编码到指令微调或检索上下文中？”想法是相似的，但发力点不同了。

如果今天让我重做EmoNet，我不会从RoBERTa-large开始。我会从一个小的开源LLM开始——LLaMA-3.2-3B、Qwen-2.5-3B或Phi-3.5——使用LoRA在EmoryNLP上微调，遵循InstructERC系列的方法。全局说话者身份变成一个从向量数据库中检索的文本传记。说话者行为模块变成包含说话者最近情绪历史的少样本提示。加权损失几乎原封不动——类别不平衡可不管你用什么模型。

架构图会看起来完全不同。但对2024年那篇论文的概念继承，如果你知道往哪儿看，依然清晰可见。

这让我明白，研究债务的“半衰期”比我想象的要长——思想能在范式转换中存活下来，即使它们的具体实现不能。

最终去向

EmoNet现已公开存档，DOI为10.5281/zenodo.20048006，包含完整的论文、答辩幻灯片和基于PyTorch的实现，托管在GitHub上。我目前正在进行现代化移植工作——一个基于LoRA微调、带有检索式说话者上下文的LLM——作为后续项目，稍后会写文章介绍。

如果你在从事对话式AI、应用NLP或LLM微调方面的工作，很期待听听你在构建什么。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：EmoNet说话人感知Transformer情感识别与2026年重构要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题