TuriX-CUA - 开源AI桌面Agent，自动进行屏幕识别和操作

TuriX-CUA是什么

有没有想过，如果有一个智能助理，能直接“看懂”你的电脑屏幕，并且帮你完成桌面上那些繁琐的操作？这就是 TuriX-CUA 的使命。作为一个基于 Python 的开源项目，它的本质是一个 AI 智能体，专门用来实现桌面自动化。它的工作方式很直观：通过截屏来“观察”屏幕上的内容，然后利用多模态大模型进行“思考”和决策，最后控制鼠标和键盘来执行任务，无论是搜索信息、处理文档还是其他复杂操作，都能一气呵成。目前，它不仅支持 Windows 和 MacOS 两大主流系统，还能灵活兼容多种 AI 模型。更值得一提的是，它可以通过 MCP 协议与 Claude 等其他 AI 工具无缝集成，将自动化能力扩展到更复杂的任务链中，最终为用户带来高效且智能的桌面操作体验。

TuriX-CUA的主要功能

简单来说，TuriX-CUA 的能力可以分解为以下几个核心模块，共同构成了它强大的自动化根基：

• 屏幕识别与操作：基础但关键。它能实时截取屏幕画面，准确识别界面元素，并据此控制鼠标点击和键盘输入，从而实现自动化任务的物理执行层。
• 多模态任务执行：这意味着它能理解复杂指令。从预订机票、搜索信息，到生成图表、编排文档内容，多种需要理解和操作结合的任务都不在话下。
• 多模型架构：其内部采用了“规划者”与“执行者”分工合作的精妙设计。由 Planner 负责思考和拆解任务，Executor 负责精准执行，这种分离大幅提高了任务的成功率和系统稳定性。
• 跨平台支持：无论是 Windows 用户还是 MacOS 用户，都能无障碍使用，这大大拓宽了其适用人群。
• MCP 协议集成：这相当于为它打开了生态合作的大门。通过支持 MCP 协议，TuriX-CUA 可以轻松与 Claude 等外部 AI 工具协作，极大地扩展了功能边界和应用场景。
• 灵活的模型配置：用户不必被绑定在某个特定的 AI 模型上。你可以根据需求，自由更换底层的 AI 模型，无论是调用 OpenAI 的接口，还是使用本地部署的 Qwen3-VL，都能灵活配置。
• 任务规划与分解：面对一个复杂指令，它不是盲目尝试。其 Planner 模块会先将任务智能拆解成一系列可执行的步骤，然后按部就班地完成，这显著提升了复杂任务的完成度。

如何使用TuriX-CUA

让这样一个智能体跑起来，其实步骤非常清晰。按照下面的流程走，你很快就能上手：

• 环境准备：首先，确保你的系统已安装 Python 和 Conda。然后，创建一个独立的 Python 环境，并在其中安装项目所需的所有依赖包，这是为了避免环境冲突。
• 模型配置：接下来，在项目的配置文件中，设置好你打算使用的 AI 模型的 API 密钥或本地访问信息。同时，清晰定义你希望 AI 执行的任务描述。
• 权限设置：这是关键一步。你需要为系统授予截屏以及控制鼠标和键盘的权限，否则软件将无法正常“看到”和“操作”桌面元素。
• 启动 Agent：环境配置妥当后，直接运行项目的启动脚本，你的 AI 智能体就会开始读取任务描述并执行操作了。
• 配置任务：根据你的实际需求，灵活修改任务描述。经验表明，任务描述越清晰、越明确，AI 执行的成功率就越高。

TuriX-CUA的项目地址

所有的源代码和最新文档都托管在以下位置，对技术细节感兴趣或想贡献代码的朋友可以前往探索：

• GitHub仓库：https://github.com/TurixAI/TuriX-CUA

TuriX-CUA的应用场景

理论说了那么多，它到底能用在哪些具体地方？实际上，它的应用场景非常广泛，几乎涵盖了所有重复性的桌面办公操作：

• 文档处理：自动创建、编辑和发送 Word、Excel、PowerPoint 等文档。例如，根据指令自动生成一份市场报告，插入分析图表，然后一键发送给指定同事。
• 邮件管理：自动撰写邮件内容、发送邮件，甚至可以根据预设规则（如关键词识别）来回复和处理日常邮件，让你从邮件海洋中解脱出来。
• 数据收集：自动从指定的网页或应用程序中爬取和记录数据。比如，定时搜索并记录竞品的价格变动，或者跟踪某支股票的实时信息。
• 内容搜索与浏览：自动在浏览器中执行搜索，浏览搜索结果页，并执行一些简单交互，如对内容进行点赞、评论或分享。
• 界面测试：在软件开发领域，它可以自动模拟用户操作，对软件的用户界面进行功能测试，验证各个按钮、流程是否能正常运行。