快手浙大开源长时序移动端GUI智能体MemGUI-Agent

一、MemGUI-Agent 是什么

在移动端GUI智能体这个赛道上，一个老生常谈却又极其头疼的问题始终没能被彻底解决：当任务步骤一多，模型就开始“失忆”。上下文越长，准确率掉得越快。有没有什么办法，能把“记忆”这件事内化到模型自己的推理流程里，而不是依赖外设个记忆模块去救场？

快手和浙江大学团队联合开源的MemGUI-Agent，就是冲着这个痛点来的。它给出的方案叫ConAct，全称是Context-as-Action，把上下文管理直接嵌入到模型每一轮输出的动作里。这意味着，模型在做决策的同时，顺带就把记忆给更新了，整个过程一步到位，不再需要额外调用一个外置模块去写摘要、翻历史。这背后是一整套完整的长时序移动端GUI智能体工程方案，论文、数据集、训练脚本、离线评测工具全部一站式开源，没有藏着掖着。

从模型维度看，这次开源给出了两个版本：一个是MemGUI-Agent-235B，开箱即用，零样本就能上手；另一个是MemGUI-8B-SFT，基于Qwen3-VL-8B-Instruct做了LoRA微调，体量更轻，适合本地部署和定制化训练。配合这两个模型，团队还发布了专属数据集MemGUI-3K，以及两套标准化的移动端GUI评测基准——MemGUI-Bench和MobileWorld。从数据采集到模型训练，再到离线评测和真机推演，整个链路都覆盖到了。

四、应用场景

理论上，只要是需要手机自动完成长流程操作的地方，MemGUI-Agent都有用武之地。具体来看，几个比较有代表性的场景方向是这样的：

1. 移动端APP自动化测试
   开发者可以拿它来做回归测试，尤其是那种跨页面、多步骤、还要处理弹窗和表单的长流程。因为有ConAct撑着，长期操作的记忆不会凭空消失，不需要人工写死每一条脚本，测试维护的人力成本能降下来不少。

2. 企业手机RPA流程自动化
   销售、运营、财务团队里那些跨APP的重复操作，比如多平台数据收集、表单填报、订单查询，全都可以交给它。长任务跑下来，前置操作的信息不会因为上下文过长而被冲掉。

3. AI手机数字助理研发
   手机厂商和AI团队如果要搭建原生的GUI操控助手，这是非常扎实的底层能力。用户用自然语言下达一个复杂的多步骤指令，比如订票、购物、比价、整理文件，它能一步步连贯执行下去。

4. GUI智能体算法研究
   高校和科研机构拿来做长时序多模态智能体、上下文压缩、移动端视觉语言模型相关的实验，配套的标注数据集和标准化评测基准都是现成的，省去自己采集和标注的麻烦。

5. 无障碍辅助操作
   对于老年用户或者行动不便的人群，直接用一句话启动一个系列交互，简化手机操作流程，算是一个挺有温度的应用方向。

五、完整使用方法

步骤1：环境依赖安装

第一步很常规，执行命令安装Python依赖环境：

pip install -r requirements.txt

步骤2：下载并处理MemGUI-3K数据集

数据集的获取和处理分三步走。先拉取完整的数据集文件：

bash scripts/download_memgui3k.sh

然后还原原始手机截图到指定目录：

bash scripts/restore_memgui3k_images.sh

最后生成多模态训练用的JSONL数据集，同时会把训练集和测试集拆分开：

bash scripts/build_memgui3k_training_data.sh

生成的文件路径是data/MemGUI-3K/training_data/train_sft.jsonl和test_sft.jsonl。

步骤3：训练 MemGUI-8B-SFT 轻量化模型

训练这部分，官方已经基于ms-swift封装好了一键脚本，超参也是标准配置，直接用LoRA微调就行：

bash training/ms_swift/train_memgui_8b_sft.sh

想了解更详细的训练命令和环境变量配置，直接翻training/ms_swift/README.md这个文件。

步骤4：离线模型效果评测

离线评测工具用来快速验证模型输出质量，比对输出和数据集标准步骤，输出三个维度的指标：动作匹配、记忆折叠、格式合规。工具路径在evaluation/memgui3k_offline_eval/，具体执行脚本看目录里的README。

步骤5：端到端真机推演全流程

想要在真实设备上跑长轨迹评测，需要配合官方另外两个评测仓库：MemGUI-Bench和MobileWorld。

六、竞品对比

拿行业里几个主流开源项目来做横向对比，结论会更直观。这里选了Mobile-Agent-v3（阿里通义）和UI-TARS（字节）来和MemGUI-Agent放在一起看：

七、常见问题解答（FAQ）

Q：MemGUI-Agent 的 ConAct 和传统外置记忆压缩有什么区别？

A：传统方案通常需要一个独立模块或者额外的大模型来做历史摘要，推理的时候要多调用一轮，延迟和Token消耗都会增加。ConAct的思路是把记忆折叠和更新逻辑直接塞进模型单次推理的输出里，每一步生成操作指令的同时，结构化地更新UI和动作记忆。这样一来，单轮推理就同时完成了任务决策和上下文管理，长时序任务的效率自然更高，也不会出现外置模块和主模型之间逻辑割裂的问题。

Q：MemGUI-8B-SFT 可以在单卡GPU上训练吗？

A：官方标准训练配置是8卡GPU。如果单卡的话，可以通过降低批次大小、增大梯度累积、缩短最大上下文长度来调整参数运行，但收敛效果和记忆学习能力肯定会受影响。科研场景下，还是建议用多卡环境来复现论文结果。

Q：MemGUI-3K数据集是否可以商用？

A：项目整体代码基于Apache 2.0开源协议，数据集同步开源，商用场景正常使用没有问题，只需要协议要求标注项目来源，没有额外商用授权限制。

Q：没有235B超大模型，仅使用MemGUI-8B-SFT能完成复杂长流程手机任务吗？

A：8B轻量化模型的Pass@1指标是23.4%，短流程和简单的手机任务足够用。但超过10步的超长复杂任务，或者面对完全陌生的APP界面，235B零样本模型的成功率优势非常明显。具体选哪个，还是看业务场景的实际需求。

Q：离线评测工具能否替代真机端到端测试？

A：离线评测只是用来快速校验模型输出格式、动作匹配和记忆折叠逻辑的，属于迭代过程中的快速验证手段。真实设备上会遇到动态界面、弹窗、网络波动等问题，这些还是得靠MemGUI-Bench和MobileWorld仓库做真机推演测试才能覆盖到。

Q：项目支持Windows系统部署吗？

A：仓库脚本用的是Linux Shell，Windows上可以通过WSL或者Linux虚拟机来运行完整的数据处理和训练流程。原生CMD/PowerShell并没有适配所有bash脚本，所以还是推荐在Linux服务器环境下使用。

八、相关链接

1. MemGUI-Agent 主仓库：https://github.com/kwai/MemGUI-Agent

2. 论文arXiv预印本地址：https://arxiv.org/abs/2606.19926

3. Hugging Face数据集：https://huggingface.co/datasets/lgy0404/MemGUI-3K

4. 项目官网：https://memgui-agent.github.io/

九、总结

如果让我用一句话概括这次开源的含金量，那就是：MemGUI-Agent是目前行业内少有的、完整聚焦移动端长时序GUI任务的端到端开源智能体工程。它用独创的ConAct技术，从根源上解决了长流程记忆丢失和上下文膨胀这两大行业顽疾。更难得的是，它没有只顾着展示大模型的能力，而是同时给出了可直接落地的8B轻量化微调方案、高质量的手机标注数据集，以及一套标准化的离线评测工具。从数据生产到模型训练再到效果验证，整个流程都打通了。

无论是做科研实验，还是搞企业自动化测试和手机AI助理落地，MemGUI-Agent在长步骤任务、陌生UI泛化、工程开箱易用性这几个维度上，确实比同类开源方案更有优势。最关键的是，所有代码、数据集、模型资产全部开源且免费，没有任何闭源依赖——对于一个技术团队来说，能拿到这样一套完整的工具箱，确实省心不少。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：快手浙大开源长时序移动端GUI智能体MemGUI-Agent要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题