得物高可控智能客服Agent工程：从机械应答到服务伙伴

智能客服系统正在经历一场深层次变革，从最初只能处理基础问答的“机械式回应”，逐步演进为能够精准理解复杂意图、开展多轮协商并展现情感温度的“服务伙伴”。得物技术团队在此次系统升级中，分享了其高可控性Agent工程的核心实践经验，重点攻克了智能客服在实际落地过程中面临的场景复杂性、运营成本高昂以及拟人化程度不足等关键难题。

一、当前智能客服面临的核心痛点

在深入探讨Agent工程实践之前，有必要梳理当前智能客服系统普遍存在的三大痛点：

• 无法精准理解用户意图，时常答非所问：由于对用户真实需求的理解偏差，导致频繁给出无关回复，严重影响使用体验。
• 运营成本高企，用户排队现象严重：在高并发场景下，人工客服难以覆盖所有用户请求，造成大量用户长时间等待。
• 复杂问题解决能力薄弱：仅限于处理简单的FAQ类咨询，一旦面对需要多轮交互的复杂问题，往往束手无策。

二、智能客服 Agent 落地的必然性及其挑战

Agent 智能客服的必然趋势

传统的“意图分类 + NER + 对话管理 + FAQ 召回 + 重排”流水线架构存在显著局限性：

• 传统架构的固有瓶颈：难以处理包含多个步骤的任务，上下文衔接不畅，无法支撑复杂的多轮对话场景。
• SOP 人工维护成本居高不下：场景中的用户问法几乎无法穷举，导致标准操作流程的维护代价飞涨。
• 多模型运维复杂度高：多套小型模型分散部署，牵一发而动全身，运维难度和成本都非常高。
• 会话自然度与流畅性不足：回复内容单一刻板，难以复现优秀人工客服的决策思路与沟通话术。

Agent 智能客服面临的新挑战

在向Agent架构演进的过程中，团队也遇到了新的考验：

• 复杂场景下指令优化成本高昂：场景逻辑复杂、知识流程繁琐，针对长尾案例进行的提示工程优化需要投入大量资源。
• 长上下文多轮交互能力有待提升：结合用户的多样化需求与长历史上下文开展多轮决策或协商，对模型的能力提出了极高要求。
• 拟人化程度与人工客服存在差距：人工回复在昵称、话术、表情、模态运用上灵活多样，需要借助“人工辅助Agent”进行有效对齐。
• 多轮半双工模式下的消息控制难题：模型推理时间较长，在半双工环境下，消息打断、上下文话题切换的控制难度显著增加。

三、客服 Agent 多轮协商优化（高可控性 PE 自动化）

单场景架构演进路径

第一阶段：Single-Agent（单提示词）

最初基于Qwen的Single-Agent架构，存在两个主要问题：

• Prompt内容过长，模型对指令的遵循能力有限。
• 串行Pipeline无法实现Agent的多轮ReAct模式。

第二阶段：Multi-Agent（渐进式信息披露）

为解决上述问题，团队采用AutoGen的Multi-Agent架构，引入多个专用Agent：

• 总控 Agent：负责整体任务调度与流程管理。
• 出话 Agent：专注于生成最终回复话术。
• 评估器 Agent：对输出质量进行实时评判。
• 润色 Agent：提升回复的自然流畅度与拟人感。

通过`SelectorGroupChat`模式实现动态调度，问题解决率明显提升。

跨场景 Harness 架构设计

为解决跨场景复用难题，进一步升级至Harness 架构，其核心能力包括：

• 跨会话 Memory：支持存储用户历史上下文信息。
• 上下文压缩与轨迹压缩：高效管理长对话，有效降低Token消耗。
• 总控 Agent 管理：增强回复的可控性与稳定性。
• 数据飞轮驱动模型持续迭代优化。
• Skill 自动化生成功能正在积极推进中。

数据飞轮：PE 自动化与模型训练

PE 自动化优化方案

人工进行提示工程存在明显痛点：耗时巨大、处理多个case时容易引发Prompt冲突与歧义、Token成本高且指令遵循能力受限。为此，团队构建了PE自动化流水线：

1. 对比数据抽取：利用大模型抽取转人工case中Agent回复与人工回复作为对比样本。
2. PE 修改建议生成：大模型分析Prompt存在问题，并提出针对性修改建议。
3. 人工 Review：人工标注并审核修改建议的可行性。
4. 离线跑测：合并修改建议后，对同批次数据进行跑测，验证优化效果。
5. 上线实验：积累实验数据，持续优化Prompt质量。

效果验证：

数据飞轮-模型训练

通过DPO 模型训练飞轮，利用“大模型作为裁判”搜集回流数据并重新训练：

• 训练能否回复判别模型、回复正确性模型、是否拟人判别模型。
• 构造优选和拒绝样本对。
• 训练专门的润色模型。

四、RL 决策训练：让 Agent 学会“做出正确决策”

训练框架概览

RL训练框架主要包含三大模块：

数据基建

• 采集线上反馈数据，通过策略埋点构建Multi-turn RL训练数据集。
• 利用专家模型生成决策理由，进行CoT-RL训练。
• 部署MCP Server，实现实时工具调用。

模型训练流程

• Cold-start SFT 预热：通过监督微调为强化学习提供良好的初始策略。
• 可验证奖励：使用基于规则的奖励机制对模型行为进行约束。
• 生成式奖励：使用基于模型的奖励机制评估模型输出质量。
• GRPO 训练：采用GRPO算法进行端到端强化学习训练。

评测体系构建

• 大模型作为裁判。
• 人工评估。
• 用户模拟器一致性评估。

对抗奖励黑客行为

• 优化奖励函数，防止模型钻空子。
• 解决数据有偏问题，确保训练数据具有代表性。
• 增加思考过程，即通过CoT训练让模型学会推理。

训练效果对比

实验验证

消融实验

• 不同训练轮次对比。
• 不同冷启动基座模型对比。
• 不同学习率对比。

业务干扰度消融实验

• A业务。
• B业务。
• A业务与B业务混合训练效果。

RL 训练对抗灾难性遗忘

测试标准：C-Eval、CMMLU。

规避策略：

• 采用较低学习率。
• 通过eval-step实时监控通用基准指标。
• 限制训练轮次在2~4 epoch之间。
• 控制数据比例：模型自推理与模型依赖工具调用各占50%。

五、情感温度：人类经验对齐与模型蒸馏

服务评测标准体系

为量化模型服务质量，团队建立了一套完整的百分制测评体系：

模型蒸馏训练方法

三种训练模式协同工作：

• CoT-RL 策略蒸馏：蒸馏优秀客服的决策逻辑，让模型学会“像优秀客服一样思考”。
• DPO 话术蒸馏：对齐对话语气，减少重复表述，规范表情包和称谓的使用。
• 表情模块：通过表情分类与语境分析，精细化控制表情使用时机，提升回复的生动性。

表情分类体系：开场欢迎 / 积极开心 / 思考疑惑 / 抱歉安抚 / 提醒强调 / 期待等待 / 完成确认 / 正在努力 / 物流配送 / 价格优惠 / 对接售后 / 结束感谢。

人工对齐效果

经过对齐训练，模型评分已接近Top5%优秀人工客服水平，在情感表达与沟通技巧方面取得了显著进步。

六、多轮消息流控制：半双工对话逻辑设计

消息收发模式设计

智能客服场景有其特殊性：用户可以随时发送消息，但Agent在回复期间不宜被打断。因此，系统设计如下：

• 用户→Agent：全双工模式，用户可随时打断或发送新消息。
• Agent→用户：半双工模式，Agent回复期间不可被打断。

多消息处理策略

为实现精准的消息合并与切分决策，团队训练了专门的分类模型：

• 数据采集：拉取线上用户连续消息进行人工标注。
• 数据增强：利用大模型对负样本进行扩写，增加数据多样性。
• 模型训练：使用Qwen3-4B模型进行分类训练，判断用户连续发送的多条消息是应该合并处理还是切分处理。

七、总结与展望

本次实践核心总结

本次分享围绕以下四大核心技术展开：

• 应对客服Agent挑战的架构设计方案。
• 构建高可控性数据飞轮的有效方法。
• 通过RL策略训练与人工经验对齐，提升模型决策能力与情感温度。
• 设计多轮半双工消息流控制机制，保障对话的流畅性与稳定性。

未来展望

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：得物高可控智能客服Agent工程：从机械应答到服务伙伴要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题