苹果开源SHARP模型：1秒让照片生成3D动态效果

12月18日消息，科技媒体9to5Mac日前发布报道称，苹果公司开源了一款名为SHARP的新型AI模型。该技术能够在一秒之内将单张2D照片转换为逼真的3D场景。

报道援引相关论文介绍，苹果发布了题为《一秒钟实现清晰单目视图合成》的学术论文，详细阐述了如何训练模型，使其在接收用户输入的一张普通2D照片后，能在一秒内重建出具备真实物理比例的3D场景。

与那些需要数分钟甚至数小时处理的传统方案相比，SHARP将合成速度提升了三个数量级，实现了近乎实时的3D转换体验。

在技术原理上，SHARP采用了先进的3D高斯泼溅技术。简单来说，它将3D场景视为无数个带有颜色和光影信息的“模糊光团”（高斯球）。

传统的3D重建通常需要对同一场景拍摄数十甚至上百张不同角度的照片，再通过复杂的计算来确定这些光团的位置。然而，苹果通过使用海量的合成数据与真实世界数据训练SHARP，让其掌握了通用的深度与几何规律。

因此，当面对一张全新照片时，SHARP能通过神经网络的一次前馈传递，直接预测出数百万个3D高斯球的位置与外观，瞬间完成建模。

除了速度惊人，SHARP在成像质量上也树立了新标杆。根据苹果公布的论文数据，该模型在多个基准测试数据集上均取得了优异成绩。

与此前业内最强的模型相比，SHARP将LPIPS（一种感知图像块相似度度量标准）降低了25个百分点的34%，同时将DISTS（纹理相似度指标）降低了21个百分点的43%。这意味着，由SHARP生成的3D视图在细节纹理和整体结构上都更接近真实世界，且具备绝对尺度，支持真实的相机移动模拟。

不过，SHARP目前仍存在一定的物理限制。为了保证生成的真实性与速度，该模型主要侧重于重建拍摄视角附近的3D视图，而不会凭空“脑补”照片中完全被遮挡或未拍摄到的盲区。

因此，用户在浏览生成的3D场景时，视角移动范围需保持在原图拍摄位置的邻近区域。苹果目前已将SHARP的完整代码及相关资源发布在GitHub平台，全球开发者均可下载测试，这一举措预计将大幅加速移动端3D内容创作与空间计算应用的发展。

附上网友利用该模型，生成的3D场景如下：