基于深度学习的常见中文纠错模型

1 简介

在之前的篇章中，我们系统梳理过中文文本纠错的发展脉络。过去广受欢迎的纠错系统，大多依赖“混淆集 + n-gram语言模型”这套经典组合。但坦白说，混淆集的构建成本极高，整个系统也显得比较笨重；而n-gram语言模型完全忽视句子的语义信息。因此，F1得分普遍偏低，难以在真实场景中经受考验，泛化能力也明显不足。更令人头疼的是，这类系统通常采用pipeline架构——检测与纠错各自独立，各环节紧密耦合，一旦前端出错，后续基本无法补救。任何一个环节出现故障，整体性能就会急剧下降。

随后深度学习方法兴起，业界开始用深度学习模型替代传统的“混淆集+n-gram”方案。新方法能够借助句子的语义信息进行纠错，同时将检测和纠正两个任务融合为一个端到端系统，彻底摆脱pipeline带来的种种问题。下面我们将介绍几种基于深度学习的中文纠错模型，帮助大家更深入地理解这一领域。

2 Confusionset-guided Pointer Network

Confusionset-guided Pointer Network 是一种典型的 seq2seq 模型。它的核心优势在于可以同时学习两件事：要么从原文本中直接复制一个正确的字，要么从预先构建的混淆集中生成一个候选字。整个模型由编码器和解码器两部分构成。编码器采用 BiLSTM，负责提取原文本的高层表征（参见左下角部分）；解码器则是一个带有注意力机制的循环神经网络，在每个解码时刻生成对应的上下文表征。这些上下文表征有两个用途：第一，作为输入，通过矩阵乘法和 softmax 计算当前位置生成全词表中每个字的概率（即右边概率图）。第二，结合位置信息，判断当前时刻是复制原文本某个位置的字，还是需要生成一个原文本中不存在的字（对应左边概率图）。这实际上是一个分类问题：假设原文本长度为 n，那么共有 n+1 种分类——第1到第n个标签分别表示复制原文本第 i 个位置的字，第 n+1 个标签表示生成一个原文本中没有的字。如果第1到第n中某个类别的概率最大，解码结果就是复制原文本对应位置的字；如果第 n+1 个类别概率最大，则利用第一个用途，从全词表中选取概率最大的字作为输出。

这里有一个关键细节：生成新字时，为了提升结果可靠性，需要事先构建一个混淆集。每个字对应若干可能的错别字（例如形近字、同音字等），模型生成的候选字会被限制在该字的混淆集中，而不是在全词表中进行全局搜索。因此称为“Confusionset-guided”。训练时，编码器和解码器联合训练，优化目标是各个类别的交叉熵损失。

实际上，Confusionset-guided Pointer Network 的思路与之前提到的 CopyNet 非常相似——都考虑了复制原文和生成新字两种可能性。相比早期的 seq2seq 模型，它的主要改进在于引入混淆集来控制候选字符。这种设计相对合理：中文错别字大多在字形或发音上相关，通过混淆集加以约束，可以防止纠错结果过于离谱。然而，由于最终结果只能从混淆集中选取，混淆集的质量直接决定了纠错效果。要构建一个高质量的混淆集，所需成本相当高昂。

图1: Confusionset-guided Pointer Network 框架

3 FASPell

FASPell 是爱奇艺发表在 EMNLP 2019 上的工作，主打基于词的中文纠错。它有两个亮点：一是用基于 BERT 的 DAE 替代传统混淆集，二是通过“置信度-相似度解码器”过滤候选集，从而提升纠错效果。

FASPell 首先利用 BERT 为句子中每个字符生成可能的候选结果。但 BERT 的预训练任务 MLM 在随机替换 token 时，有10%的情况是随机替换，这与文本纠错场景不太匹配，因此需要对 BERT 进行微调。具体调整策略如下：

a) 如果文本没有错误，则沿用原有 BERT 策略。

b) 如果文本存在错误，那么随机选中要 mask 的位置，若该位置正好是错误位置，则将标签设为纠错后的正确字；若不是错误位置，标签仍保持原文本中的字。

获得文本可能的候选结果后，FASPell 再通过“置信度-相似度解码器”进行过滤。为什么需要对 BERT 生成的候选字再次过滤呢？因为汉语中常见错误大多在字形或发音上相似，而 BERT 生成的候选字并未专门考虑中文纠错背景，因此很多候选结果与纠错任务无关。每个位置的候选词，置信度由 BERT 计算得出；相似度包括字形相似度和音素相似度（音素相似度还考虑了多种语言中的发音）。对于每个位置的候选词，只有当置信度、字形相似度和音素相似度满足特定条件时，才用该候选字替换原文对应字符。这个过滤条件通常是一种加权组合——置信度和相似度的加权和超过某个阈值时才执行纠错。加权参数可以通过训练集学习获得，推理时直接使用。

FASPell 没有单独的检测模块，直接利用 BERT 生成每个位置的候选字，省去了传统混淆集构建工作。再配合置信度-相似度解码器进行过滤，进一步提升了纠错效果。

图2: FASPell 框架

4 Soft-Masked BERT

Soft-Masked BERT 是字节跳动发表在 ACL 2020 上的中文纠错方法。它针对当前主流深度学习纠错方法的一个普遍问题：虽然都使用 BERT 生成各个位置的候选，但 BERT 本身缺乏判断每个位置是否需要纠错的能力——即缺少检测功能。为解决这一问题，论文提出了一个包含检测网络和纠正网络的纠错框架。整体流程是：先经过检测网络，再经过纠正网络。检测网络是一个双向 GRU 加全连接层，执行二分类任务，计算原文本每个位置存在错误的概率。每个位置有错别字的概率记为 p，无错误的概率为 1-p（参见图中左边部分）。纠正网络采用预训练模型 BERT，但在嵌入层做了调整：每个位置的嵌入不再是原字本身的词嵌入，而是由原文本对应位置的词嵌入和 [MASK] 词嵌入的加权和构成。这里的 [MASK] 权重就是检测网络预测的当前位置是错别字的概率（详见图4）。因此，如果检测网络判断当前位置是错别字的概率高，那么在纠正网络中，该位置的词嵌入里 [MASK] 的权重就更大；反之，如果概率低，[MASK] 的权重就更小。利用 BERT 获得每个位置的表征后，再将 BERT 最后一层的输出与原文对应位置的词嵌入相加，作为最终表征，然后通过全连接层加 softmax 预测每个位置的字，最终选取概率最大的作为输出。训练时，检测网络和纠正网络联合训练，目标函数包括两部分：检测网络的对数似然函数和纠正网络的对数似然函数，加权求和取负值最小化，同时优化两个网络的参数。

图3: Soft-Masked BERT 框架

图4: Softed-masked embedding

Soft-Masked BERT 相较于直接使用预训练 BERT 模型，多了一个检测网络，从而获得更合理的 soft-masked embedding，缓解了 BERT 缺乏足够检测能力的问题。虽然改动不大，但效果提升非常显著。

5 MLM-phonetics

MLM-phonetics 可以看作是在 Soft-Masked BERT 基础上的优化，思路也非常相似——同样是检测网络加纠正网络。主要区别体现在以下几点：

图5: MLM-phonetics 框架

a) 纠正网络的词嵌入组成不同。Soft-Masked BERT 的词嵌入由原文本各位置本身的词嵌入和 [MASK] 的词嵌入拼接而成；而 MLM-phonetics 将 [MASK] 的词嵌入替换为对应位置拼音序列的嵌入。

b) 目标函数不同。MLM-phonetics 在纠正网络的目标函数中加入了检测网络的预测结果，作为一个权重项。

c) 检测网络不同。MLM-phonetics 的检测网络采用了预训练模型 BERT。

d) BERT 的预训练任务不同。为了更贴合中文纠错场景，MLM-phonetics 在 BERT 的 MLM 任务中，预测的字是根据汉字常见错误选择的——要么字形相似，要么发音相似。

图6: MLM-phonetics 预训练任务

6 总结

为了对比上述几种中文纠错方法的差异，可以直接观察它们在几个常见中文纠错数据集上的性能表现。在 F1 值上，这些方法均大幅超越基于“混淆集+n-gram语言模型”的传统方法。

图7: 不同纠错模型的效果对比

此外，关于中文纠错任务，还有几个值得关注的要点：

a) 纠错任务可以拆分为检测和纠正两个过程，相应地，错误也可分为这两种类型。目前基于 BERT 的中文纠错方法，检测错误的比率高于纠正错误的比率，这得益于 BERT 训练过程中的 MLM 任务。

b) 中文纠错方法基本以单个字为基本单位，很大程度上是因为以词为单位会引入分词模块的误差。不过，分词的结构可以作为字的特征来增强效果。

c) 当前中文纠错任务仍存在两种难解的错误类型。第一种需要模型具备强大的推理能力。例如“他主动牵了姑娘的手，心里很高心，嘴上却故作生气”，虽然容易检测出“高心”是错别字，但到底应改为“寒心”还是“高兴”，取决于模型是否能根据上下文准确推理。第二种错误源于缺乏常识——对世界认知不足。比如“芜湖：女子落入青戈江，众人齐救援”，必须掌握相关地理知识，才能将“青戈江”纠正为“青弋江”。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：基于深度学习的常见中文纠错模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题