上海科技大学CLAY模型：文字图像生成精细3D物体
上海科技大学近日发布了一项重磅成果——一款名为CLAY的AI模型，能够直接从文字描述或2D图像中“捏”出精细的3D物体。相比于以往的技术，CLAY在生成质量与多样性上实现了质的飞跃，引发了业内广泛关注。CLAY的核心架构别出心裁：一个多分辨率变分自编码器（VAE）配合一个扩散变换器（DiT）。简而言
上海科技大学近日发布了一项重磅成果——一款名为CLAY的AI模型，能够直接从文字描述或2D图像中“捏”出精细的3D物体。相比于以往的技术，CLAY在生成质量与多样性上实现了质的飞跃，引发了业内广泛关注。
CLAY的核心架构别出心裁：一个多分辨率变分自编码器（VAE）配合一个扩散变换器（DiT）。简而言之，VAE负责将不同细节层次的3D形状压缩到潜在空间，而DiT则在此基础上“脑补”出完整的形状。与许多其他系统不同的是，CLAY直接处理3D数据，绕过了先转换为2D图像的中间步骤，从而保留了更多的空间信息。
在训练数据方面，CLAY消化了超过50万种3D模型，涵盖了从日常小物件到幻想生物的广阔范围。更值得一提的是，它还支持额外的控制信号——只需提供一个粗略的形状（例如体素结构或点云），或者绘制一个边界框，就能精准输出所需结果。这种灵活性意味着它可以直接生成整个城市场景，或者从手绘草图中重建出精细的3D模型，应用想象力空间巨大。
与Shap-E、DreamFusion、Wonder3D等系统正面较量时，CLAY的优势相当突出。无论是文字转3D还是图像转3D，它生成的几何形状更加一致，表面更光滑，细节也更丰富。而且生成速度惊人：大约只需45秒就能产出一个高质量3D资产——作为对比，某些系统可能需要优化数小时才能达到类似效果。
应用前景方面，游戏开发、影视制作、3D打印等领域无疑都是大市场。当然，研究团队也清醒地认识到AI生成虚拟内容可能带来的风险，因此正在积极规划加入更多安全机制，确保技术用于正当用途。
至于未来方向，研究人员计划继续扩充训练数据、提升模型质量，最终将几何生成与材料合成整合到同一模型中，打造一个全能型的3D生成引擎。值得一提的是，一项名为Rodin的服务已经可以体验CLAY的部分能力，感兴趣的朋友不妨前去一试。
总结来看：CLAY的出现让3D内容生成从“雕石头”变成了“写作文”——门槛大幅降低，效率显著提升，质量也同步走高。对整个行业而言，这无疑是一个值得密切关注的信号。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：上海科技大学CLAY模型：文字图像生成精细3D物体要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点VSona是一个开发AI伴侣的平台，提供聊天、角色扮演、创意表达等功能。用户可自定义头像和声线，支持文字或语音互动。AI伴侣具备动画反馈和语音响应，营造安全、沉浸的个性化互动空间。
MastermallowAI音频母带处理适用于音乐、播客及内容创作者。可将原始录音一键转为专业音频，提升播客音质，为音乐作品添加母带效果。特色包括智能音频分析与增强、原音与母带实时对比、高质量成品下载。
MyCharacter AI是基于Polygon链的去中心化应用，通过CharacterGPTV2多模态AI系统生成具有独特形象和性格的AI角色。用户可与角色实时互动，并将其作为NFT收藏、交易或转让，实现AI角色生成、互动与资产化的一体化。
ToMate基于AI智能高效处理客户消息，适用于客服、销售及市场营销等场景。它能及时贴心回复，支持解析多种文件格式，并采用灵活定价方案，显著提升工作效率与客户满意度。
- 日榜
- 周榜
- 月榜
热点快看