ICLR 2026：浙大哈佛Stroke3D实现2D草图到3D模型一键生成

Stroke3D首次实现了从2D草图和文字描述到可直接动画的3D资产的端到端生成，其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了全新思路。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

在3D内容创作领域，传统方法往往受限于专业软件的高门槛和AI生成工具的局限性。然而，浙江大学与哈佛大学的研究团队近期提出的Stroke3D框架，正在引领一场3D创作的新革命！通过简单的2D草图和一句文字描述，Stroke3D就能生成带有完整骨架、纹理清晰、可直接驱动动画的3D网格模型。这一创新不仅大幅降低了3D创作的门槛，更为AR/VR、影视动画和机器人仿真等领域带来了无限可能。

相关链接

论文介绍

绑定3D模型是3D变形和动画的基础。然而，现有的3D生成方法在生成可动画几何体方面面临挑战，而绑定技术又缺乏对骨骼创建的精细结构控制。

为了解决这些局限性，论文提出了一个全新框架Stroke3D，它能够直接从用户输入（2D绘制的笔触和描述性文本提示）生成绑定网格。方法开创了一种两阶段流程，将生成过程分为：可控骨骼生成，采用骨骼图VAE（Sk-VAE）将骨骼的图结构编码到一个潜在空间中，其中骨骼图DiT（Sk-DiT）生成骨骼嵌入。生成过程同时依赖于文本的语义信息和2D笔触的显式结构控制，VAE的解码器重建最终的高质量3D骨骼；通过TextuRig和SKA-DPO增强网格合成，在此基础上合成纹理网格。在此阶段，首先使用TextuRig数据集（一个包含纹理和绑定网格以及说明文字的数据集，来自Objaverse-XL）扩充现有骨骼到网格模型的训练数据，从而增强其性能。此外采用基于骨骼-网格对齐评分的偏好优化策略SKA-DPO，以进一步提高几何保真度。该框架为创建可直接用于动画的3D内容提供了更直观的工作流程。

方法概述

Stroke3D 方法

Stroke3D概述。在训练阶段，Sk-VAE将骨架图编码到潜在空间中。随后，训练Sk-DiT以生成这些潜在嵌入，并以相应的2D笔画和文本提示为条件。使用TextuRig进行训练后，我们利用SKA-DPO，通过骨架网格对齐奖励信号进一步优化SKDream。右侧展示了模型的实现细节。

骨骼生成

将骨架生成结果与RigNet、SKDream、MagicArticulate和UniRig进行了比较。

网格生成

将网格生成结果与SKDream进行比较，并展示了SKA-DPO和TextuRig的消融研究。

TextuRig 数据集

对用于网格生成的TextuRig数据集进行分析。

结论

Stroke3D首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成，其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。该工作不仅贡献了高质量的TextuRig数据集，还提出了创新的SKA-DPO优化策略，显著提升了生成几何质量。未来，Stroke3D有望在游戏开发、虚拟人创建、影视预可视化等领域发挥巨大作用，让3D创作更接近人类最自然的表达方式——绘画和语言。