南洋理工团队推出分层Agent框架，AI短剧一键生成迈向标准化

视频生成技术的迭代速度正以惊人的步伐向前迈进。从Sora、Kling到Seedance、Veo，各类模型在单镜头视频创作上已展现出令人惊叹的潜力。然而，当我们聚焦于更复杂的叙事内容生产，例如当前市场火爆的短剧制作时，便会发现现有技术与实际需求之间存在显著差距。

目前，市面上多数短剧自动生成方案，本质上仍依赖于大语言模型（LLM）进行“一次性”剧本创作，再与其他功能模块进行简单拼接。这种模式至少存在三大核心痛点：叙事节奏缺乏起伏，开场平淡难以吸引观众，剧情冲突张力不足；空间一致性难以保障，镜头切换后，场景布局与人物位置经常出现错位；质量把控高度依赖人工，生成结果需要大量审核与手动修改，距离真正的“智能化流水线”仍有相当距离。

针对这些行业瓶颈，南洋理工大学的研究团队与其合作伙伴提出了一套创新的解决方案——一个名为“一句话生成一部短剧”（One Sentence, One Drama）的层级化智能体框架。其目标非常明确：让用户仅需输入一句创意灵感，即可自动获得一部制作精良、画面连贯的个性化短剧作品。

为了客观、精准地评估短剧的生成质量，研究团队在通用视频质量评估体系之外，专门构建了一套针对短剧叙事特性的评测标准。实验数据表明，这一全新框架在叙事吸引力、跨镜头连贯性以及整体观感等多个维度上，均显著优于现有的流水线式方案。这无疑是一个积极的信号，表明通过智能体驱动的结构化流程，短剧乃至更长的视频内容生产，正在迈向质量更可控、自动化程度更高的新阶段。

图｜从一句话创意到一部完整短剧的生成过程。

一句话生成短剧：核心技术如何实现？

整个自动化生成流程被清晰地规划为四个核心阶段：智能故事生成、视觉素材与提示词生成、基于3D场景锚定的一致性首帧生成，以及智能后期制作。而质量控制则以“智能审阅”模块的形式贯穿始终，确保每个环节的输出都符合预设标准。

图｜个性化短剧生成流水线的四大核心阶段。

故事生成阶段：这一步远不止是让大模型编写一个简单故事。系统智能体首先通过知识检索与多智能体辩论机制，生成结构严谨的故事大纲与分镜头脚本。更为关键的是，它调用了一个从近300部高质量短剧中分析提炼出的“节奏模式库”和“因果逻辑库”。基于这些经验数据，智能体依照事实逻辑、情节节奏与戏剧结构三个维度，像搭建积木一样组合叙事单元，从而构建出一个高度可控且戏剧张力十足的短剧框架，从根本上避免了剧情松散或出现逻辑漏洞。

图｜基于多智能体辩论的故事生成框架工作原理。

视觉素材与提示词生成：故事剧本确定后，如何转化为画面？智能体会先生成每个场景的全景概念图和角色设定参考图，进而为每个分镜头生成具体的首帧关键图像和详尽的视频生成提示词。其中，首帧提示词负责定义画面构图与初始镜头视角，视频提示词则描述后续的人物动作、交互关系与镜头运动轨迹。在生成之前，审阅模块会提前介入，检查场景空间关系与道具摆放是否连贯，如有问题则立即要求重写，将潜在错误提前规避。

通过3D场景锚定实现一致的首帧生成：这是攻克“空间一致性”难题的核心技术。智能体并非孤立地生成每一帧图像，而是首先依据全景概念图，在虚拟三维空间中精确重建出整个3D场景模型。随后，它将人物走位、摄像机机位以及场景物件关系统一映射到这个3D空间中，并据此为下一个镜头智能选择最合适的拍摄角度。这种方法，能最大程度地保证跨镜头切换时的空间连贯性与视觉合理性。面对多人同框的复杂场面，智能体还会自动微调机位，确保所有角色都能清晰入镜且站位关系准确。

图｜基于3D场景锚定技术实现跨镜头一致的首帧生成。

后期制作阶段：最后一步是为短剧注入“灵魂”。智能体会根据剧情的情感起伏，统一规划镜头间的转场特效，并智能匹配与衔接背景音乐与人声对白，最终将一个个独立的视频片段，合成为一部节奏流畅、情绪饱满的完整影视作品。

图｜多样化转场效果生成与背景音乐的智能规划及混音流程。

实际生成效果评估

实践是检验真理的唯一标准。为了进行公正、系统的评测，研究团队构建了一个专业的短剧评测基准——Short-Drama-Bench。该基准覆盖了逆袭复仇、现实题材、古装宫斗、悬疑推理等7大主流类型、17个细分题材，累计生成了约239分钟的视频内容，包含长、中、短不同篇幅。与通用视频评测基准相比，它更专注于评估短剧特有的叙事节奏、戏剧张力和成片观感。

评测体系设计得全面而细致：采用VBench衡量通用视频生成质量，采用ViStoryBench评估故事可视化效果。此外，还专门设立了8项短剧专项指标，用于考察开场和结尾的“悬念钩子”是否吸引人、情节推进的升级效果、叙事流畅度、角色与环境的时空一致性，以及背景音乐和转场是否自然贴切。

从定性分析结果来看，该框架的优势显而易见。与基线方法相比，它在不同片段间的视觉连续性上表现稳定，人物位置、场景布局和镜头关系的衔接都更加自然平滑。同时，其剧情节奏把控和转场处理也更符合短剧的观看习惯，整体“电影感”和“成片质感”更强。

图｜生成效果定性对比示例。

图｜AI视频生成示例展示

定量数据结果同样支撑了这一结论。无论是与MovieAgent、ScriptAgent、StoryMem等学术研究方法对比，还是与Toonflow这类商业短剧生成产品对标，该智能体框架在短剧专项指标、VBench和ViStoryBench的各项评分上均展现出全面领先的优势。

进一步的消融实验则揭示了各个技术环节的具体贡献：故事生成环节显著提升了开场的吸引力和情节的推进力；3D首帧生成技术极大改善了跨镜头的空间连贯性；多阶段审阅机制有效保障了整体输出质量；而专业的转场效果与背景音乐处理，则让情绪过渡更加平滑自然，增强了观看沉浸感。

图｜定量评测结果。左上：在标准视频生成与故事可视化基准上的对比。左下：在Short-Drama-Bench各项指标上的对比结果，涵盖叙事钩子、流畅性、跨片段连续性及音频转场质量。右侧：基于相同短剧评价维度的人类评分结果，汇总了基准测试中20位标注者的平均评分。

当前局限与未来展望

当然，研究团队也客观指出了当前方案存在的局限性。尽管在短剧自动化生成领域优势明显，但要实现大规模商业化部署，仍面临一些现实挑战。

首要挑战是生成成本。更强的可控性与更高的制作质量，必然伴随着更高的计算与API调用成本。据估算，“一句话一短剧”框架的平均API成本约为每分钟25-27美元，高于Toonflow的21.53美元。在时间成本上，生成一部10分钟左右的短剧需要74到90分钟。因此，未来要实现规模化应用，持续优化算法效率以降低成本是一个至关重要的课题。

其次，在人机协同创作方面，当前框架仍以全自动生成为主。研究团队展望，未来可以通过交互式界面，向用户开放质量审查分数和诊断反馈。例如，得分过低的片段可自动触发重新生成，高分片段通常可直接采用，而处于中间水平的片段，则可以交由创作者进行判断与微调，从而实现更灵活、高效的人机协作模式。

此外，还存在音频素材授权的瓶颈。为了规避版权风险，目前使用的背景音乐库主要限于免版税或可商用音乐，这在很大程度上限制了音乐风格和情绪表达的多样性。未来的一个发展方向是接入规模更大、授权链路更清晰的音乐库，并在智能匹配到具体曲目时，为用户提供明确的版权购买或授权选项。这将大大拓展该技术在影视制作、广告营销等商业场景中的应用潜力。

技术的演进总是伴随着挑战与机遇。这项研究为我们描绘了一个更智能、更可控的视频内容生成未来图景，而如何跨越成本与实用化之间的鸿沟，将是接下来产业界与学术界共同探索的关键方向。