Token Healing
Token Healing通过修复分词边界导致的概率偏差，提升模型生成文本的连贯性与准确性，是减少词汇分裂错误的重要方法。
一句话解释
Token Healing是一种在生成过程中修复因分词器切割单词导致概率偏差的技术，确保整个单词被正确生成。
为什么会被关注
现代大语言模型使用子词分词器，常将如“don't”拆成“don”和“'t”等多个token，模型可能只生成前半部分，造成语义断裂。
随着模型在对话、代码生成等精细化场景的应用，用户对输出完整性的要求提高，Token Healing能有效减少这类错误，提升产品体验。
核心逻辑
Token Healing在每一步生成时，会回溯已完成token序列，检测是否存在因分词导致的未完单词，并动态调整当前token的候选概率。
常用做法包括重新归一化分裂token的logits，或利用贪心搜索强制生成完整单词，避免模型停在词汇碎片上。
常见场景
在对话机器人生成长文本时，防止“app”被拆成“ap”和“p”导致拼写错误；在代码补全中确保变量名如“myVar”完整输出。
在翻译或摘要任务中，保持专业术语（如“machine learning”）不被切割，提升结果准确性；在创意写作中减少语法断层。
容易混淆的点
Token Healing并非一种新的解码策略，而是对已有策略（如top-k、beam search）的补充；它专注于分词问题，而非控制多样性或长度。
它与“令牌剪枝”（Token Pruning）不同，后者为了加速推理而删除不重要的token；也与“分词后处理”不同，后者在生成后才修改文本。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词上下文窗口是大型语言模型（LLM）在单次处理时能够“看到”和参考的文本信息总量。它就像模型的“工作记忆区”，决定了AI能记住多长的对话历史、理解多复杂的文档，是影响模型实际应用效果的核心参数。
大语言模型是一种基于海量文本数据训练的人工智能模型，能够理解、生成和推理人类语言。它通过深度学习技术，学习语言的统计规律和语义关联，从而完成对话、写作、翻译等多种任务，是当前生成式AI浪潮的核心驱动力。