国产AI大模型直出开放世界游戏，有声可交互

距离普通人凭想法就能做出游戏的时代，又近了一步。

AI游戏生成的天花板，今年被反复捅破。昨天，国产游戏AI团队交出了一份让人眼前一亮的答卷——巨人网络正式发布“千影 QianYing”有声游戏生成大模型，包含游戏视频生成模型YingGame和视频配音模型YingSound。

用一段文字、一张图，就能直接生成模拟开放世界游戏的视频，而且自带音效、可交互，角色的各种动作也能自由操控。换句话说，“你只管想象，剩下的交给AI”。

面向开放世界游戏，无需游戏引擎

简明扼要地说，YingGame是一个专为开放世界游戏设计的视频生成大模型，由巨人网络AI Lab与清华大学SATLab联合研发。它最大的亮点在于：首次实现了角色多种动作的交互控制、支持自定义游戏角色，并且物理仿真效果相当出色——一切都无需传统游戏引擎的参与。

精确的物理规律仿真

从演示视频来看，无论是汽车碰撞、火焰燃烧这种大场面，还是水中缓慢行走、障碍物自动绕行这类细腻动作，都表现得相当“守规矩”——重力、惯性、碰撞反馈全都跟真实世界一致。这一点对游戏体验来说至关重要。

（此处应有演示视频截图，但文本中未提供，保留原位置占位）

多样动作控制

交互是游戏的灵魂。YingGame能够理解用户通过文本、图像甚至鼠标键盘输入的操作信号，从而实现角色多样动作的控制。视频中演示了开枪、变身、施法、使用道具、攀爬、匍匐、跑跳等一系列肢体动作，流畅度和丰富度都明显超越同类模型。

（此处应有演示视频截图）

角色个性化与精细主体控制

YingGame还支持输入一张角色图片，一键生成自定义角色——从过去的AI“捏脸”升级到了AI“捏人”。对角色的主体控制也相当精细，服饰、体态、动作细节都拿捏得不错。

（此处应有演示视频截图）

第一人称视角

不仅如此，模型还能生成第一人称视角的游戏画面，沉浸感拉满。如果放在射击或探险类游戏中，效果应该会相当炸裂。

怎么实现的？

技术上，YingGame通过融合跨模态特征、细粒度角色表征、运动增强与多阶段训练策略，并结合高效高质量的游戏视频训练数据生产管线，实现了可交互的多样动作控制、角色自定义与精细主体控制、复杂运动与动作连续性等能力。

在交互性实现上，YingGame集成了多个核心模块：多模态交互网络（MMIN）负责理解用户输入的多模态指令；动作网络（IMN）负责生成复杂且连续的角色动作；角色网络（ICN）则专注于自定义角色生成与质量提升。

此外，为了构建高质量训练数据，巨人AI团队设计了一条高效的游戏视频数据处理管线，包括：

• 基于场景与高光产出高质量视频片段，并提取音频信息用于V2A训练；
• 基于运动得分、美学评分等进行视频过滤；
• 采用vLLM-based video caption流程，并配合clip score文本视频对齐评分过滤；
• 多任务数据处理（分割、主体检测、姿势估计、深度估计、相机运动估计等）。

让AI游戏进入有声时代

除了YingGame，巨人还发布了专门为视频配音场景设计的多模态音效生成大模型——YingSound。这个方向在之前的AI游戏生成领域几乎是空白，而“声音”恰恰是游戏体验中不可或缺的一环。

YingSound由巨人网络AI Lab、西工大ASLP Lab和浙江大学联合研发，它最核心的能力是：给无声视频精准配上音效，做到音画同步。

这个模型拥有极强的时间对齐能力和视频语义理解能力，能够生成多种类型的高精细度音效，并且可以泛化到游戏视频、动漫视频、真实世界视频和AI生成视频等多种场景。

理解各种视频画面的能力一绝

来看一段游戏配音示例：通过演示视频可以清晰看到，YingSound能够精确生成与场景高度匹配的音效——开镜声、炮轰声、射击声……完美还原了坦克进攻与士兵防守的音效，沉浸感十足。

（△视频源自《战地游戏》录屏）

在动漫场景中，模型展示了对复杂剧情的理解能力。一段鸟儿互相扔蛋的动画里，YingSound生成了从惊讶、扔蛋、蛋飞行轨迹到接住蛋等一系列卡点音效，与画面节奏严丝合缝。

再看一个快速移动小球的画面，模型生成的声音能精准匹配小球的速度、方向变化，甚至在不同状态下切换相应的场景音效——说明它对动画内容的深层逻辑有很好的把握。

（△视频源自3D动画短片《The Marble》片段）

真实世界场景也没问题。一段激烈的乒乓球对战视频中，模型不仅能准确识别每次击球的声音，甚至生成了球员跑动时鞋底与地面的摩擦声。这种对整体语义的理解和音效生成能力，确实让人印象深刻。

（△视频源自乒乓球比赛）

测评结果领先

研究团队公开了YingSound的两个核心模块：基于DiT的Flow-Matching音效生成模块，以及多模态思维链（Multi-modal CoT）控制模块，后者为精准音效生成提供了关键支持。

在音效生成模块中，团队基于DiT的Flow-Matching框架，提出了创新的音频-视觉融合结构（A VA，Audio-Vision Aggregator）。该模块通过动态融合高分辨率视觉与音频特征，确保跨模态对齐效果。并通过多阶段训练策略，逐步从T2A过渡到V2A，搭配不同数据配比训练，使模型具备从文本、视频或二者结合生成高质量音效的能力。

同时，团队设计了多模态视频-音频链式思维结构（Multi-modal CoT），结合强化学习，实现了少样本情况下音效生成的精细控制，可广泛适用于短视频、动漫及游戏配音场景。

在数据层面，团队构建了符合行业标准的V2A数据集，覆盖电影、游戏、广告等多场景、多时长的音视频内容。为了确保质量，他们还设计了完善的数据处理流程：数据收集、标注、过滤、剪辑。针对不同视频类型的复杂性，基于多模态大语言模型（MLLMs）及人工标注，完成时间戳和声音事件的高质量标注。通过严格筛选，过滤掉背景音乐干扰及音视频不同步的内容，最终生成符合行业标准要求的训练数据。

从客观指标测评来看，YingSound大模型在整体效果、时间对齐和视频语义理解等维度均达到业界领先水平。

长期来看，视频生成技术展现出的取代游戏引擎的潜力，势必会给游戏行业带来碘伏式创新。通过文字描述就能创作一个游戏，这不再是异想天开。这个领域的发展速度远超想象，AI将带来游戏创作的平权——未来，创作游戏可能只剩下一个限制：创作者自身的想象力。

今年年初，史玉柱曾谈到巨人网络在探索打造AI游戏孵化平台，降低做游戏的门槛，让普通人也能做游戏。年底就交出了这份“作业”，值得期待他们在AI游戏赛道接下来的动作。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：国产AI大模型直出开放世界游戏，有声可交互要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题