上海AI Lab推出ComAct软件自动化操作研究范式

ComAct是什么

专业软件自动化领域长期面临两大瓶颈：一是依赖GUI视觉控制容易导致累积错误，二是依赖API却遭遇不同软件接口难以兼容的困境。Jiaxin Ai等人提出的ComAct（全称COM-as-Action），为这一长期难题提供了创新性解决方案。其核心思想极为简洁——将Windows的COM接口作为统一的可执行抽象层，使智能体能够通过程序合成直接操控软件，而无需逐一步骤地模拟鼠标键盘操作。如此一来，长程任务中常见的错误累积、API调用的异构协议壁垒以及闭源接口无法访问等问题，均被有效规避。

ComAct的主要功能

该范式落地的核心功能可拆解为以下几个关键模块：

COM-as-Action 范式转换：彻底摒弃脆弱的顺序性GUI控制方式，转而采用确定性程序合成来操作软件。底层依托Windows COM接口，该接口可直接调用软件内部的结构化编程接口，实现精准操控。

ComCADBench 基准测试：这是首个专门用于评估智能体操作真实工业CAD软件而设计的基准测试集。其中包含1000个任务，覆盖SolidWorks、Inventor、AutoCAD三大主流平台，以及3D建模、2D草图、装配、工程图等七项核心工程活动。

ComActor 自校正智能体：该训练框架分为三个阶段——先进行文本到代码的监督微调（SFT），再基于多轮交互轨迹开展智能体SFT，最后运用基于连续几何奖励的GRPO强化学习优化。该智能体不仅能生成COM脚本，还能读取终端反馈、自主诊断问题并重写失败步骤。

ComForge 可扩展训练平台：支持并发托管1000多个Docker化的Windows环境，每个环境均预装真实CAD软件。提供三种动作类型——code_execute（COM脚本）、gui_action（鼠标/键盘操作）、reset（环境重置），便于大规模并行训练与评估。

跨应用工作流整合：COM本身就是统一的语义化编程接口，天然具备打通Microsoft Office、Adobe套件、工业CAD等专业软件的能力，可协同完成复杂工作流。

长程任务鲁棒执行：传统GUI智能体在长程任务中失误率居高不下，ComAct则通过单一确定性脚本替代数百个易出错的顺序操作。在长程多任务管道中，端到端成功率可稳定维持在80%以上，这一表现是传统方法无法比拟的。

ComAct的技术原理

从技术层面来看，核心在于范式转换与一套渐进式训练流程。

COM-as-Action 范式转换：本质上是将Windows COM接口作为统一的抽象层，使智能体跳出GUI操作的脆弱循环，直接在程序合成层面完成交互，大幅提升操作稳定性。

验证过的指令-代码对数据构建：专门设计了一套数据构建流程，用于合成经过验证的指令-COM代码语料库。此步骤的关键在于确保训练数据在语法和语义层面均准确无误，为监督微调奠定坚实基础。

三阶段渐进式训练框架：

阶段一：文本到代码 SFT

在验证语料库上进行监督微调，使模型学会生成语法有效的COM脚本，确保基础生成能力可靠。

阶段二：Agentic SFT

基于多轮交互轨迹以及屏幕截图、终端反馈等信息，进行迭代调试训练。此阶段训练出的智能体具备从执行失败中自我恢复的能力，显著提升容错性。

阶段三：GRPO 强化学习

采用组相对策略优化（GRPO），结合基于Chamfer Distance的连续几何奖励，直接优化任务级的几何保真度。这一步旨在弥补“语法正确但几何不符”的差距，确保输出结果真正符合设计要求。

自校正执行循环：智能体生成COM脚本后，先执行脚本，然后读取终端返回的traceback或执行结果，自主诊断错误原因并重写失败步骤。这种“生成-执行-反馈-修正”的闭环机制，是保证系统鲁棒性的核心所在。

ComForge 可扩展基础设施：基于Docker化的Windows容器构建训练平台，可并发托管1000多个预装真实CAD软件的环境。支持三种动作类型：code_execute（COM脚本）、gui_action（鼠标/键盘操作）、reset（环境重置），便于大规模并行训练与评估。

跨应用统一动作空间：利用COM在语义对象层面运行的特性，将不同专业软件（如SolidWorks、AutoCAD、Inventor、Microsoft Office等）的异构接口统一为标准化的可执行动作空间，天然支持跨应用工作流编排。

如何使用ComAct

具体操作流程并不复杂，大致可分为以下几个步骤：

• 环境准备（ComForge）：首先部署Docker化的Windows容器环境，预装目标专业软件（如SolidWorks、AutoCAD、Inventor）。ComForge可支持1000多个并行实例，足以支撑大规模训练或评估任务。
• 任务指令输入：向ComActor智能体输入自然语言指令，例如“创建一个带圆角的立方体并生成工程图”。智能体会将该指令解析为对应的COM操作目标，明确后续动作方向。
• COM 脚本生成：ComActor基于三阶段训练所获得的能力，自动生成语法有效的COM脚本（例如使用Python调用COM接口），直接操控软件内部对象模型，完全不依赖模拟鼠标点击。
• 执行与反馈循环：脚本在ComForge环境中执行，智能体读取终端返回的执行结果或错误traceback，自主诊断问题并重写失败步骤。这一反馈闭环是保障任务成功率的关键环节。
• 结果验证与输出：任务完成后，智能体会输出最终生成的文件（如3D模型、工程图纸），并通过连续几何奖励机制（基于Chamfer Distance）验证几何保真度，确保输出质量。
• 跨应用工作流编排：利用COM的统一接口，可串联多个专业软件完成复杂管道任务，例如在CAD中建模→导出数据→在Excel中生成BOM表，实现全流程自动化。

ComAct的官网地址

• 项目官网：https://knowledgexlab.github.io/ComAct/
• GitHub仓库：https://github.com/KnowledgeXLab/ComAct
• arViv技术论文：https://arxiv.org/pdf/2606.13239

ComAct的核心优势

相较于传统方法，ComAct的优势十分显著：

确定性程序合成替代脆弱视觉控制：直接生成单一确定性COM脚本，替代基于像素定位的顺序GUI操作。从根源上消除长程错误累积，有效避免传统智能体“一步错、步步错”的级联失效问题。

统一可执行抽象跨越异构接口：利用Windows COM作为统一的语义化编程接口，整合SolidWorks、AutoCAD、Inventor、Microsoft Office等多种专业软件的异构协议，天然支持跨应用复杂工作流编排。

破解闭源软件工具匮乏难题：COM接口在语义对象层面暴露应用程序内部功能。即使面对源代码不公开的商业软件，也能提供高保真的本地API级访问能力，突破了API-based方法受限于不可访问商业接口的瓶颈。

长程任务鲁棒性显著领先：在长程多任务管道中保持80%以上的端到端成功率，而传统GUI-based基线模型在ComCADBench上的任务成功率接近0%。这一差距堪称质变，充分体现了ComAct的技术优势。

自校正与迭代调试能力：通过Agentic SFT训练，智能体具备“生成-执行-读取traceback-诊断-重写”的闭环能力，可从COM脚本执行失败中自主恢复，完全无需人工干预，极大降低了运维成本。

直接优化几何保真度：第三阶段GRPO强化学习引入基于Chamfer Distance的连续几何奖励，直接优化任务级几何精度，有效解决了“语法正确但几何不符”的痛点问题。

ComAct的应用场景

该方案的应用场景相当广泛：

工业CAD自动化设计：在SolidWorks、AutoCAD、Inventor等真实工业CAD软件中，将自然语言需求自动转换为COM脚本执行。覆盖3D建模、2D草图、装配体设计、工程图生成、质量属性分析、干涉检测等全流程，大幅提升设计效率。

长程多任务管道编排：串联复杂设计管道任务，例如从概念建模→详细零件设计→装配验证→工程图输出→BOM表生成。通过单一确定性脚本替代数百个易出错的顺序GUI操作，端到端成功率保持稳定。

跨应用协同工作流：利用COM统一接口整合Microsoft Office（Excel、Word）、Adobe套件与工业CAD软件，实现“CAD模型变更后自动更新Excel物料清单并生成Word技术报告”这类跨应用自动化场景。

设计验证与质量检测：自动执行干涉检测、几何尺寸验证、质量属性计算等分析任务。通过连续几何奖励机制确保输出结果的几何保真度，辅助工程师快速排查设计冲突，提升设计质量。

参数化批量建模：根据输入参数批量生成或修改标准化零件与装配体。特别适用于大量重复性建模任务的场景，例如标准件库生成、系列产品变型设计等，效率提升效果极为显著。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：上海AI Lab推出ComAct软件自动化操作研究范式要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题