大模型赋能的车载AI Agent座舱代言人开发

佐思汽研发布《2024年车载AI Agent产品开发与商业化研究报告》，报告中提出一个颇具启发性的观点：若以OpenAI对AI的五个能力级别作为衡量标准，AI Agent恰好处于第三级。

OpenAI对AI能力的分级标准

来源：OpenAI

回顾2023年，大模型虽然风靡一时，但由于交互模式与工具调用能力有限，最多只能触及L2推理者的门槛。相比之下，将车载Agent作为汽车AI体系的核心发展方向，显得尤为合理。Agent的核心优势在于：它能够借助主动智能，灵活调用各类工具与大模型，弥补大模型在真实场景中的短板，从而推动座舱智能化水平迈向新高度。

Agent成为情感座舱的代言者

“情感座舱”这一概念已提出多年。实际上，真正让情感座舱落地的关键，是大模型的上车应用。在此之前，语音助手只能在特定触发条件下，从预设的情感语料库中调取台词进行对话，但在真实交流中几乎无法跟上人类的思维逻辑。车载Agent上车后，情况截然不同。它集成了多个大模型底座，环境识别更精准，工具库接口更丰富，泛化能力大幅提升。这样一来，它能够应对各种复杂场景下的聊天与问答，真正成为提供温暖陪伴的“座舱代言人”。

不同场景下Agent情感关怀示例

整理：佐思汽研

当前主流的情感交互场景设计，主要聚焦于情绪识别、用户记忆与行为编排三大领域。部分主机厂与Tier1已推出能够提升Agent情感价值的技术或产品。

部分主机厂与Tier1的Agent情感技术/产品概览

整理：佐思汽研

以小爱同学为例，其“情感对话系统”构建分为三个步骤：

小爱同学“情感对话系统”构建流程

整理：佐思汽研

混合策略疏导模型包含三大核心组件：情感状态增强编码器、混合策略学习模块、多因素感知解码器

来源：小米

马耳他大学数字游戏研究所则提出了一种情感框架，在训练过程中引入行为奖励与情感奖励机制，帮助Agent更深入地理解人类情绪，实现更自然的交互体验。

基于情感奖励机制的情感框架

来源：马耳他大学数字游戏研究所

提升用户体验需解决的核心痛点

设想一下：智能座舱不仅能够听懂并执行你的指令，还能主动预测你的需求，如同一位贴心的私人助理。相比传统汽车需要手动摸索各项功能，谁不希望拥有一个“动动嘴”就能搞定一切的座舱“代言人”呢？Agent的主打优势正是省时又省心。

理想同学对车主景点推荐需求的响应（被动推荐模式）

来源：理想

尽管目前市面上已上车的Agent，大多仍停留在助手、陪伴以及具体场景功能罗列阶段。但与单纯的大模型相比，Agent的潜力显然更大。它具备可激发的自主性与突出的工具使用能力，使其更符合“主动智能”的标签，甚至能够弥补大模型在实际应用中的诸多限制。

大模型与Agent的部分核心区别

整理：佐思汽研

不过，要让车载Agent真正实现“主动智能”，并让用户体验到实质价值，技术层面仍面临漫长挑战。Agent必须在主动感知、数据处理、状态识别等环节做到更精准，准确理解环境，判断车内人员的真实需求，进而根据不同情境采取差异化策略。这其中，最大的难点之一在于Agent对用户需求的准确判断。与被动交互不同，主动意图识别缺乏直接的语音指令，在识别环境、人员、车辆状态时，未必能通过向量特征匹配找到与当前场景高度相似的描述，预设的方案也可能与车内人员的真实意图相悖。

主动推荐动作的生成逻辑示意图

来源：佐思汽研

目前，许多推荐功能仅执行预设指令，反而限制了Agent的“主动智能”能力，导致推理环节频繁出现痛点。例如，若Agent无法准确理解当前场景，就可能给出不合理的推荐——在不合适的时间推荐音乐或导航。结果不仅影响用户体验，还让Agent在用户眼中沦为“猜测机器”。

Agent“无效推荐”案例一

Agent“无效推荐”案例二

整理：佐思汽研

此外，Agent在接收语音指令的感知环节也存在诸多痛点。根据佐思汽研的不完全统计，车主使用车载Agent时提及频率最高的痛点依次为：唤醒失败、识别错误、误唤醒。

不完全统计下车载Agent使用痛点分析

整理：佐思汽研

在统计的120个痛点案例中，唤醒失败、识别错误、误唤醒的提及频次分别为19次、18次、17次，占比依次为16%、15%、14%。其他痛点包括不支持可见可说、不识别方言、延迟响应、不支持语义澄清、不支持连续指令等，总计89个语音环节痛点，占本次统计调研的74.2%。

另外，Agent架构或场景设计不合理也会引发问题，例如场景触发条件不准确、大模型需二次唤醒、长短期记忆失效、根据车主习惯做出的推荐动作不符合预期等。这些问题背后，指向的是Agent在场景设置、架构部署、记忆模块、反思模块等方面的局限性。

总结而言，用户痛点主要集中在感知与推理两个环节：

• 感知：“叫不醒”（唤醒失败）、“瞎回答”（误唤醒）、“听不懂”（识别错误）、“啥也不会”（不支持可见可说）、“耳背”（延迟响应）等。
• 推理：“睁眼瞎”（物体识别错误）、“乱推荐”（自主推荐不符合用户预期）等。

快速响应的多Agent框架设计

为了让“代言人”在座舱中实现全方位功能，Agent在多元化场景下的服务框架设计至关重要。Agent框架的构建方式灵活多样，可以是简单的“接收器+执行器”架构，也可以构建更复杂的多智能体架构。设计原则十分简单：只要在特定场景下能解决用户问题，就是好框架。作为合格的“座舱代言人”，车载Agent不仅要像独立思考的个体一样自主决策、解决问题，还需像人一样快速、自然地采取人类行为模式。

蔚来的Nomi便是典型案例。它采用多智能体架构，在不同场景下调用不同工具，由多个分工明确的Agent各司其职，共同完成理解需求、决策裁决、执行任务、反思迭代的完整流程。多智能体架构使Nomi不仅能快速响应，还能做出更接近人类的自然反应，与汽车其他功能无缝融合，提升整体体验流畅度。

蔚来Nomi Agent的多智能体架构示意

来源：蔚来

相比单Agent系统，多Agent系统更适合执行复杂指令。它犹如一个小型社区，每个“Agent”各有任务，又能协同完成更复杂的工作。例如，一个Agent负责理解指令，另一个负责决策，还有专门的Agent执行任务。这种设计让车载AI Agent系统更灵活，能处理更多样化的任务。澳大利亚联邦科学与工业研究组织（CSIRO）曾提出一种同时采用协调Agent与执行Agent的多Agent系统：

一种多Agent系统框架示例

来源：CSIRO

整个Agent框架划分为6个模块：感知交互模块、推理模块、工具使用模块、多Agent协作模块、反思模块以及价值对齐模块。这几乎涵盖了主流Agent设计模式，覆盖从主动感知、推理决策、工具调用到生成执行、反思迭代并与人类价值对齐的完整流程。该框架的亮点在于引入多Agent系统，由不同Agent分别扮演分发、决策、执行角色，可充分发挥各自优势，提升任务执行效率。

此外，在多元化场景下，Agent的部署方式与工具调用能力直接影响用户需求的执行速度与准确性。仍以蔚来Nomi为例：

Nomi Agents分别在端侧与云端部署。端侧搭载端侧模型，与SkyOS深度整合，能及时调用原子能力，进行跨域资源调度，加快响应速度；云端搭载Nomi GPT，连接更多云端工具资源接口，进一步强化Nomi Agents的工具调用能力。Nomi Agents架构部署于SkyOS中间件层，通过与SkyOS的结合，调用原子API、硬件/软件、数据的过程更加自然协调且迅速。

Nomi Agents在SkyOS中的部署结构

来源：蔚来

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型赋能的车载AI Agent座舱代言人开发要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题