字节推出Lumine智能体：可自主畅玩《原神》等3A开放世界游戏

11月17日最新消息，字节跳动旗下Seed团队近日正式推出名为Lumine的通用人工智能体——这是一个在《原神》虚拟世界中接受训练的高级AI助手。根据官方介绍，Lumine能够实时感知环境信息、自主思考并迅速行动，还能在复杂的3D开放世界中独立完成长达数小时的连续任务。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

在蒙德地区的测试中，Lumine用时五小时成功完成了三幕主线剧情的全部内容。值得关注的是，尽管推理训练仅基于第一幕的内容，它仍然能够自主推进剧情发展，顺利通关整个章节。

在完全未经训练的璃月区域，Lumine展现出卓越的泛化能力，不仅成功抵达璃月港完成主线任务，甚至自主寻访了深山中隐藏的仙人居所，展现出强大的环境适应能力。

更令人惊喜的是，Lumine在不同游戏间的泛化表现同样出色。无需任何额外微调或修改，它就在《崩坏：星穹铁道》中顺利通关黑塔空间站第一章全部主线任务（约7小时），并在《鸣潮》中完成了约100分钟的主线剧情体验。

据技术文档披露，Lumine采用类人交互模式，将感知、思考与行动端到端统一整合，由视觉-语言模型驱动。该系统以5Hz频率处理原始图像信息，同时以30Hz生成精确的鼠标操作指令，仅在必要时启动复杂的思考过程。Lumine充分利用了收集到的真实游戏数据，按照精心设计的步骤渐进学习各种技能：

首先通过1731小时的人类游戏数据进行预训练，掌握基于游戏画面输出鼠标操作的基础能力；

随后使用200小时的指令跟随数据，建立语言与操作之间的精准映射关系；

最后借助15小时的推理数据，使模型具备灵活应对复杂情况的思考能力。

最终得到的模型不仅能够连续数小时稳定执行任务，还能遵循多样化的操作指令，在3D开放世界探索和2D图形界面操作中均表现优异，涵盖了采集资源、激烈战斗、解谜探索以及与NPC互动等多种复杂场景。而《原神》丰富多样的游戏玩法恰好为这些能力提供了绝佳的表现舞台。

得益于大规模的高质量预训练，Lumine掌握了关键的战斗技巧，能够动态追踪敌人位置、精准使用弓箭击中远处目标，流畅切换角色发动连招攻击，并能高效寻找并开启战斗后解锁的宝箱。

除了日常战斗，Lumine还展现出对Boss机制的理解与应对能力，既能灵活躲避Boss的强力攻击，又能适时采用对应的策略将其击溃。

Lumine在应对游戏中的各类挑战与谜题时也表现出色，这些任务通常需要对游戏机制有深入理解、出色的空间感知能力以及精确的底层操作控制。

该AI展现出可靠的指令执行能力，能够在多人环境中稳定地与指定NPC进行互动，为完成长期连续任务奠定了坚实基础。

除了在广阔世界的自由探索，Lumine还能像真人玩家一样通过鼠标相对移动的方式进行可靠的图形界面操作，实现了2D界面与3D世界的无缝衔接，这对于通用智能体来说具有里程碑式的意义。

与此同时，Lumine还展现出强大的上下文学习能力，如果在指令中提供任务的先验信息或者更详细的分步指引，它就能完成过去无法企及的复杂任务序列。