语义压缩文本有效降低LLM调用成本

大型语言模型在处理自然语言文本方面确实表现惊艳，能够轻松驾驭非结构化数据，从海量信息中精准提取相关内容。但所有这类模型都受制于一个共同瓶颈——上下文窗口大小。简单来说，模型一次能“处理”的文本量是有限的。这一限制对像Bazaarvoice这样的公司尤为突出：他们持续收集用户生成的商品评论，数量庞大且内容五花八门，要提供产品评论摘要功能，就必须面对数百万甚至数千万条评论，这远远超出了大多数LLM的上下文窗口极限。

一、语义压缩技术的提出

面对这一棘手挑战，Bazaarvoice提出了一种巧妙的解决方案：语义压缩（本质上就是知识蒸馏——大模型领域常用的模型压缩与知识迁移技术）。核心思路其实非常直观：大量评论中，相当一部分其实在表达相同或相似的观点。如果能识别出这些重复或相似的内容，只将“浓缩精华”喂给LLM，那么不仅能绕开上下文窗口限制，还能大幅降低模型调用成本。

二、语义压缩的实现方法

（一）利用数据重复性

Bazaarvoice发现，许多商品评论翻来覆去说的都是同一件事。例如，“很好用”可能重复出现数千次，“物流慢”也频繁出现。通过识别这些表达相同含义的句子，减少输入给LLM的文本量，既能避免触及窗口上限，又能有效降低运营成本。

（二）多步骤处理流程

1. 句子分割——首先将每条评论拆分成独立句子，打好基础。
2. 向量嵌入计算——选用一个在语义文本相似性（STS）基准测试中表现优异的网络，为每个句子生成嵌入向量。这一步的关键是选对嵌入模型，确保它能精准捕捉句子的语义信息。
3. 层次聚类——对同一商品的所有嵌入向量执行凝聚式聚类。难点在于保证聚类结果真正具备语义相似性。Bazaarvoice的做法是：先分析STS基准数据集，计算训练数据中所有句子对的距离，用多项式拟合出距离阈值，然后根据目标语义相似性选定阈值。例如，设定语义相似分数为3.5，就能确保大多数聚类中的句子在语义上足够等价。
4. 代表性句子选择——每个聚类中只保留离质心最近的句子作为代表发送给LLM，其余全部丢弃。对于特别小的聚类（比如仅含一个句子），作为异常值处理，随机抽取一部分纳入。此外，LLM提示中还包含每个聚类代表句子的数量，以确保各个情感的权重不被忽略。

（三）多轮聚类策略

1. 第一轮聚类（无损压缩）——首先以语义相似性分数4作为阈值进行聚类，这属于无损压缩，压缩比为1.18（即节省约15%的空间）。但对于大规模数据，这点压缩远远不够。
2. 后续轮次聚类（有损压缩）——挑出第一轮中向量数量极少的异常聚类，用更低的阈值（如3）再次聚类。轮次越多，阈值越低，丢失的信息越多，但压缩比也越高。重复此过程直至达到理想效果。实际操作中，经过多轮降阈值后，仍会剩下大量仅含单个向量的聚类，这些也作为异常值随机采样，确保最终提示控制在2.5万个令牌左右。

（四）嵌入模型评估

为了确保所选的嵌入模型能真正将语义相似的句子映射到相近的向量空间，Bazaarvoice使用STS基准数据集进行评估，计算Pearson相关性。以AWS的Titan Text Embedding模型为例，评估结果显示它在嵌入语义相似句子方面表现优异，且成本极低，完全适合此任务。

（五）确保总结真实性

多轮聚类和随机异常值采样难免会损失部分语义信息，因此Bazaarvoice专门增加了一道保险：对每个产品，抽取部分评论，利用LLM Evals来评估总结是否能代表并关联每条评论。这成为一个硬性指标，用于平衡压缩效率与信息完整性之间的关系。

三、语义压缩技术的效果评估

为验证这套方法的效果，Bazaarvoice进行了一系列实验。他们选取多个产品评论数据集，分别将未压缩的原文和经过语义压缩的文本输入LLM，然后对比生成摘要的准确度和代表性。

结果令人振奋：实现了97.7%的文本压缩率（即压缩比42），意味着原始文本量被压缩至原来的2.5%左右。同时，生成摘要的成本降低了82.4%——这已经包含了嵌入句子和存储数据库的成本。

他们还进行了用户调查。结果显示，大多数用户认为经过语义压缩后生成的摘要，依然能准确反映原始评论中的关键信息和观点。从用户体验角度看，质量没有下降。

四、语义压缩技术的应用场景与前景

这项技术不仅适用于Bazaarvoice的评论摘要。新闻摘要、社交媒体分析、客户服务……凡是需要处理海量文本的场景，都能借助语义压缩来降低LLM成本、提升效率。

当然，技术总是在不断演进。随着LLM性能提升和上下文窗口持续扩大，语义压缩的迫切性可能会有所降低。但另一方面，文本数据量也在疯狂增长，内容日益多样化——至少在可预见的未来，语义压缩仍有其重要价值。

未来的研究可从以下几个方向发力：一是探索更先进的文本嵌入模型和聚类算法，提高语义相似性判断的精度和聚类效果；二是结合上下文信息和用户反馈来优化压缩策略；三是尝试将语义压缩与其他自然语言处理技术融合，创造新玩法。

总而言之，语义压缩是一种有效降低LLM使用成本的方法。通过减少输入文本量，同时尽可能保留语义完整性，能够显著提升效率、压低成本。Bazaarvoice的实践已证明其在产品评论摘要场景中的价值，而且这一思路的潜力远不止于此——随着LLM持续进化，我们有理由期待语义压缩在更多领域大显身手。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：语义压缩文本有效降低LLM调用成本要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题