长上下文LLM在会议纪要总结中的应用与技巧

先看一个现实问题：很多时候，我们都需要处理那些篇幅极长、令人头疼的文本——比如数小时的会议录音，又或者一本几百页的书籍。如果直接把完整段落扔给大模型？抱歉，它根本消化不了。即便是一些号称支持超长上下文的模型，实际使用下来，效果也往往差强人意。下面的示意图很能说明问题：

简单来说，给大模型灌输过多上下文内容，有时连 prompt 指令它都无法准确理解。

针对文本总结任务，LangChain 的 load_summarize_chain 提供了三种主流处理方案，可以直接对号入座：

第一种，Stuff： 简单直白，把所有文档一股脑塞进一个提示里。前提是你的模型必须拥有足够大的“胃口”，比如 OpenAI 的 gpt-3.5-turbo-1106（16k token）或 Anthropic 的 Claude-2（100k token）。一般而言，一个汉字算一个 token，一个英文单词同样算一个 token。

第二种，Map-reduce： 分两步走。先进行“映射”，对每个文档单独做一次总结；接着执行“归约”，把这些单独总结再揉合成一个最终摘要。流程清晰，并且支持并行处理。

第三种，Refine： 顺序操作，无法并行。首先利用第一个文档生成初始总结，然后循环遍历剩余文档，一遍又一遍地“修补”和“完善”这个总结。就像雕塑一样，逐渐打磨成型。

除了上述方法，还有一种玩法是聚类。先对文本内容进行分类，再分别总结，速度确实很快。不过代价也很明显——聚类过程中，信息可能丢失，那些藏在边角的关键点往往难以找回。

再说一个实践当中常用的框架，通俗来讲就是分块 + 多轮总结。思路非常直观：将长文本切割成若干块，每块各自进行一次总结；接着把这几份总结当作新文本，重复“切块→总结→再切块→再总结”的过程，直至最终得到一份短小精悍的核心纪要。

注：Qwen-14B 最长上下文为 8K，这个边界条件记得提前卡死。

为了控制每一轮总结输出的长度，我设计了一个简单函数，能够根据文本块的数量动态计算输出长度上限，并与提示词配合使用，确保每轮总结后 token 数量明显减少，而不是越总结越长。

针对会议场景，我还额外增加了一步：对原始会议数据进行规范化处理。出发点很简单——在多人会议场景下，语音识别的效果往往会断崖式下降。许多 ASR 吐出的结果既没有标点，也没有做角色分离，读起来一团乱麻。为了解决这个难题，我调用了 WhisperX，并添加了一些后处理优化。

其中一个技巧是“合并因讲话者分配错误的句子”。做法是：观察当前句和上一句是否被分配给同一个人。如果不是，再检查当前句的字数；如果字数少于某个阈值，大概率属于误检，就把它合并到上一句中。这个方法自然不算完美，后续可以考虑基于前后句子的讲话者动态调整判断，或者利用 BERT 计算 is_next_word 概率来做更精细的判断。

WhisperX 对英文支持标点恢复，但对中文不支持。因此我额外调用了 Paddle 的自动标点符号恢复模型。使用时需要注意三点：输入长度有限制，太长的要提前分段；不支持粤语（Whisper 有时会偏好识别出一些粤语字），建议先用 Opencc 转为简体；它会吃掉英文单词之间的空格，导致多个英文字母连在一起，我后来用正则把中英文部分分开，再用 wordninja 对英文做分割。

整理好格式后，配合提示词模板，就能得到类似下面的 query，然后交给 LLM 做最终总结：

请扮演会议纪要整理助手，请您简洁专业地总结以下会议内容（不得超过1000个字，不允许在答案中添加任何编造成分）
<会议内容>
> Speaker0: xxxx
> Speaker1: xxxx
> Speaker2: xxxx
<会议内容>

如果会议对话实在太长，还可以分块处理。当然，如果你的 LLM 足够强悍，也可以不做讲话者分离，直接把原始识别文本做段落分割后喂进去。段落分割的目的，是解决长会议 ASR 生成的文本缺乏结构的问题，方便语义切块。这里推荐阿里语音实验室在 IEEE ASRU 2021 上提出的 SeqModel：它先分句，再对每个句子分词，把 token、segment、position embedding 以及发音 embedding 加在一起，喂入 BERT，最后通过 softmax 判断每个句子是不是段落边界。

考虑到 ASR 经常出现声学混淆词等问题，把字的发音信息（通过中文发音表查询）也当作一个增强特征喂进去，效果会更好。同时，他们提出的自适应滑窗算法，能够基于模型预测的段落分割点去滑动窗口，有效提升推理速度。

虽然训练代码没有开源，但通过 ModelScope 可以直接调用：

# 段落分割
# https://modelscope.cn/models/iic/nlp_bert_document-segmentation_chinese-base/summary
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

p = pipeline(
    task=Tasks.document_segmentation,
    model='damo/nlp_bert_document-segmentation_chinese-base')

documents = ''.join(annot_dfs['transcription'].astype(str).values.tolist())
result = p(documents=documents)
paragraphs = result[OutputKeys.TEXT]
paragraphs = paragraphs.split('\t')

不过，不得不承认，即使框架设计得再合理，如果大模型本身的长文本总结能力偏弱，最终效果也还是差强人意。这就像综艺里的“传声游戏”——多轮传递之后，细节消失，甚至还会添油加醋。加上每一轮总结面对的是多个前一轮的总结结果，相当于多人同时给你传话，信息丢失和整体性变差几乎是必然的。

除了换一个长文本总结能力更强的大模型，是否还有其他优化思路？这个问题值得继续深挖。

日后有机会，我也打算研究一下如何训练出支持超长文本的模型。这件事的难点主要集中在两个地方：一是 self-attention 模块的算法优化，二是工程上的训练和推理优化。目前已知的路线包括：位置编码外推、小模型配合滑动窗口、上下文降采样或稀疏注意力、配合 RAG 对部分输入做自注意力计算，以及对上下文分组计算。这些相关的阅读资料后面可以慢慢啃。说到底，感觉还是得从模型本身出发，不能一直停留在表面的套壳优化上。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：长上下文LLM在会议纪要总结中的应用与技巧要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题