物理涌现引入牛顿工具箱:智能体驱动视频生成新范式
现有视频生成模型缺乏物理常识,NEWTON提出智能体驱动范式,通过规划-执行-验证循环调用关键帧生成、科学计算等物理工具,在不改动生成器前提下提升物理一致性。在VideoPhy-2基准上,联合准确率从21 4%提升至29 7%,为世界模拟器提供务实路径。
近年来,视频生成模型的发展速度令人瞩目,从 Sora、Veo、Kling 到各类开源模型,文生视频的视觉表现已经足以以假乱真——画面清晰、镜头流畅、风格可控,只需输入一句话便能产出一段观感不错的片段。
然而,一个关键问题随之浮现:当我们的评价标准从“好不好看”转向“对不对路”时,一个更深层次的矛盾开始凸显——当前这些模型虽然擅长营造视觉真实感,却并不真正理解,甚至根本不在乎物理世界是如何运作的。
一个球可以在未接触任何物体的情况下凭空变向;下落的物体可以无视重力定律;诸如碰撞、流体、切削、堆积、弹跳等动态过程,乍看之下似乎合理,但仔细推敲,处处都经不起基本物理常识的检验。在 VideoPhy-2 这类专为物理常识设计的视频评测中,即便是表现最佳的模型,其联合准确率也仅有 32.6%。数据清晰地表明:视频生成距离所谓的“世界模拟器”,仍横亘着一条关键鸿沟。
正是在这一背景下,浙江大学、香港理工大学、树根科技与三一集团联合提出了 NEWTON(Neural Agentic World-Aware Tool-Orchestrated Navigation)。该方案的核心思路非常明确:与其继续将物理知识硬塞进生成器的权重参数中,不如换一种策略——让一个擅长规划、能够调用物理工具并具备自查自纠能力的智能体(Agent),将生成器降级为其工具箱中的一件兵器。

VideoPhy-2 上的数据已成为行业的一个警示牌。即便生成器再强大,若缺乏物理常识作为支撑,它所生成的视频终究只是“看起来很对”的视觉幻觉。
视频生成为何总是“物理不稳”?

行业内一度普遍认为,只要模型规模足够大、训练数据足够多,物理规律迟早会被模型内化。但 NEWTON 团队指出了一个更为本质的问题:根源并不在模型本身,而在于输入条件——文本提示词本身,就不足以唯一确定一段符合物理规律的视频。再庞大的模型,也无法补回输入端所缺失的信息。
文本提示本质上是对物理世界的极端压缩。例如,一句“啤酒被倒进杯子直到装满”,表面上已描述了事件,但在实际执行中省略了大量关键参数:容器形状、泡沫生成速率、液面上升速度……模型拿到的仅是一句自然语言,却被要求生成一个完整、连续且符合物理规律的视频。换句话说,它在信息严重匮乏的条件下,被要求交出一份满分答卷。
关键信息一旦缺失,模型就只能凭借“幻觉”进行补全。单帧画面或许非常漂亮,但在时间维度上却处处露馅:液面不上升、刀划过木头却没有留下凹槽、颗粒倒下却不堆积、物体碰撞后毫无反应。
这就引出了一个核心判断:要生成物理可靠的视频,不能押注在一句 prompt 上。它至少需要同时满足三个条件:信息要完整——能够补齐影响动态的物理变量;过程要灵活——能够针对不同场景调用不同的物理工具;结果要可验证——生成后能发现问题,甚至回头修正。
然而,现有的方法往往只能满足其中一两点。端到端模型将物理知识隐式压进参数,但输入本身就不完整;ControlNet 这类方法依赖单一模态的预设信号,难以随场景切换,灵活性不足;而单轮生成则完全没有反馈回路,结果不对也无从修改。
NEWTON 的破局思路:将生成变为一个可规划、可验证的流程

NEWTON 最核心的变化,是重新定义了视频生成系统的工作方式。
传统路径非常短:用户输入 prompt,生成器直接输出视频。这意味着所有物理细节都需由生成器一次性猜测出来。NEWTON 则将这一步变成了一个多轮智能体循环——Planner 首先分析当前任务缺少哪些物理信息、需要调用哪些工具;Executor 负责执行工具调用和视频生成;Verifier 则为结果打出一个物理合理性分数,并将反馈写回下一轮规划。在这个循环中,视频生成器不再是唯一主角,它只是工具箱中的一个动作;真正负责组织整个流程的,是可训练的 Planner。
工具库覆盖了互补的物理维度:
- 关键帧生成工具用于为视频补充时间边界条件,例如规定抛物线运动在中间帧到达最高点,或要求倒酒时杯内液面随时间逐步升高。
- 科学计算工具在沙盒 Python 环境中计算轨迹、动量守恒、旋转动力学等数值结果,将人类熟悉的物理推理显式写入生成上下文。
- 提示词优化工具则负责将材料属性、动作阶段、因果关系重新组织成生成器更容易“理解”的条件。
更关键的是,NEWTON 无需改动底层的视频生成模型。无论是采用 LTX-Video 还是 Veo-3.1,生成器始终保持冻结状态。整套系统中真正需要训练的只有 Planner——它通过 Flow-GRPO 在真实的多轮工具调用流程中进行 on-policy 优化,逐步学会在什么时候该计算物理量、什么时候该生成关键帧、什么时候该重写场景描述、以及什么时候该真正触发视频生成。
这样的设计,将“物理能力”从生成模型内部抽离出来,变成了一种可组合、可检查、可迁移的智能体行为。
实验表现:不改生成器,也能显著提升物理一致性



数据是最直接的证明。在 VideoPhy-2 基准测试中,NEWTON 的效果相当稳定。接入 LTX-Video 后,联合准确率从 21.4% 提升至 29.7%;接入 Veo-3.1 后,在选取的测试集上从 30.7% 提升到 37.4%。这些提升并非来自重新训练视频生成器,而是得益于 Planner 对物理工具、关键帧条件和反馈循环的组织能力。
具体案例更能说明问题。在倒啤酒时,NEWTON 能让杯子随着注入逐渐被填满,而基线模型却常常出现“杯子早就满了”“怎么倒都倒不进去”“泡沫在增长但液面却不动”这类荒诞画面;刀刻木头时,只有 NEWTON 能同时刻出凹槽和木屑;吹泡泡和 LEGO 橄榄球交接的镜头也呈现出同样的规律——基线模型往往“动作发生了,但世界状态没有改变”,而 NEWTON 能完整呈现液面上升、材料移除、颗粒堆积、受力反弹这些具有因果关系的动态过程。
总结
NEWTON 的意义不仅在于某个评测指标上刷出了新高。它更重要的价值在于,提出了一种视频生成的新范式:未来的视频模型,或许不应只是一个端到端的视觉合成器,而应成为智能体系统中的可调用模块。
当任务涉及真实世界的动态规律时,系统需要的不仅是更强的渲染能力,还需要知道自身缺失了什么信息、该调用什么工具、如何验证结果,以及在失败之后如何重新规划。
从这个视角来看,NEWTON 为“世界模拟器”提供了一条更加务实的路径:不是等待物理规律从黑箱中自然涌现,而是将牛顿请进工具箱,让智能体借助物理知识,一步步将视频生成得更加真实、可信。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:物理涌现引入牛顿工具箱:智能体驱动视频生成新范式要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI,不拼参数大小,而是通过知识密度提升与模型风洞技术,将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”,在用户开口前预判需求,已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心,容量可扩展至50MW,提供从设计到运营的端到端服务,旨在满足政府及企业日益增长的算力需求,抢占印度快速增长的数据中心市场,并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%,接近人工水平。同时在新工站分别达到90%成功率,从单一操作拓展至多工站协同,验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局,DeepSeek创始人梁文锋凭借其公司的迅猛发展,个人财富急剧膨胀,一举超越多位硅谷知名人物,成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元,超越多位AI大佬 根据最新彭博亿万富豪指数,DeepSeek
- 日榜
- 周榜
- 月榜
热点快看
