Gamba 0.05秒单图生成高质量3D模型，新加坡国大与天工AI开源

只需单张图片就能生成高质量的3D模型，这一能力在AR/VR、自动驾驶、工业设计等领域拥有广阔的应用前景。过去，这类任务主要依赖评分蒸馏采样（SDS）方法，但痛点十分突出：需要逐实例优化，耗时动辄数分钟甚至更久，并且受限于预训练2D扩散模型自身的偏差，容易产生多面问题等伪影。此外，许多方案采用神经辐射场（NeRF），高维MLP和低效的体积渲染对计算资源需求极高。如今，昆仑万维颜水成团队提出的Gamba为单视图3D重建提供了一种又快又好的全新解决方案。

Gamba的核心思路是将3D高斯泼溅（3D Gaussian Splatting）与Mamba架构巧妙融合，构建一个端到端的前馈重建管道。简单来说，只需输入一张图片，模型就能直接输出3D高斯参数，再通过渲染器生成多视图图像进行监督训练。这一过程完全避免了耗时的逐实例优化，推理时间仅需0.05秒——比传统优化方法快了近1000倍。更重要的是，它是第一个真正利用3DGS实现端到端训练的单视图重建模型，而非像此前许多方案那样仅将3DGS当作后处理工具。

从架构来看，Gamba包含两个关键创新点：一是高效的骨干设计——引入基于Mamba的GambaFormer网络，将3DGS重建建模为线性可扩展的序列预测任务，能够处理海量高斯点，而不会像Transformer那样随序列长度导致内存暴涨；二是稳健的高斯约束——通过从多视图掩码中导出径向掩码约束，省去了训练中对3D点云热身监督的需求，使训练过程更加简洁稳定。

具体流程上，Gamba先通过图像分词器（Image Tokenizer）将输入图像转换为令牌，然后这些令牌依次通过多个Gamba Block逐层处理。每个Gamba Block内部会先丢弃部分相机姿态和条件图像令牌（Drop），再经Mamba块处理，接着将上一层的3DGS令牌拼接到前面（Prepend），最后通过线性层送入下一个Block。这种设计使模型能以线性复杂度逐步精化3D细节，类似于3DGS迭代克隆与分裂的优化策略。

实际效果如何？与One-2-3-45、DreamGaussian等主流方法相比，Gamba在几何形状和纹理细节上表现明显更优。无论是蘑菇、摩托车、心脏还是皮卡丘，Gamba生成的模型都保持了合理的结构和逼真的纹理，几乎看不到模糊或失真现象。

速度方面，在单张NVIDIA A100 GPU（80GB）上，Gamba推理仅需0.05秒。这得益于Mamba架构在长序列上的低内存消耗——下图展示了Mamba与Transformer在令牌长度变化时的内存消耗对比，Gamba选用Mamba正是看中其线性扩展能力。

Gamba

这是 Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction 的官方实现。

为什么选择Gamba

• 从单个图像输入重建3D对象，仅需50毫秒。
• 首个可端到端训练的单视图重建模型，采用3DGS技术。

安装

# 需要安装xformers！请参阅https://github.com/facebookresearch/xformers了解详细信息。
# 例如，我们使用torch 2.1.0 + cuda 11.8
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118
pip install causal-conv1d==1.2.0 mamba-ssm
git clone --recursive git@github.com:SkyworkAI/Gamba.git
# 修改过的高斯点撒算法（+ 深度，alpha渲染）
pip install ./submodules/diff-gaussian-rasterization
# 辐射多边形掩码，仅在训练中使用
pip install ./submodules/rad-polygon-mask

# 用于网格提取
pip install git+https://github.com/NVlabs/nvdiffrast

# 其他依赖项
pip install -r requirements.txt

预训练权重

预训练权重可从 huggingface 下载（一个更大的模型即将推出）。例如，下载用于推理的bf16模型：

mkdir checkpoint && cd checkpoint
wget https://huggingface.co/florinshen/Gamba/resolve/main/gamba_ep399.pth
cd ..

推理

推理大约需要1.5GB的GPU内存，耗时50毫秒：

bash scripts/test.sh

更多选项请查看选项。

训练

训练教程即将更新。这项工作基于许多优秀的研究和开源项目：LGM、OpenLRM、gaussian-splatting、diff-gaussian-rasterization、nvdiffrast、dearpygui、tyro等。

另一个统一3D生成项目 MVGamba，代码和预训练权重也将很快发布。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Gamba 0.05秒单图生成高质量3D模型，新加坡国大与天工AI开源要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题