Google 的 SMERF 将您的公寓以 3D 形式传输到您的智能手机

type

status

date

slug

summary

来自谷歌、谷歌 DeepMind 和蒂宾根大学的研究人员推出了 SMERF，这是一项新技术，可以在智能手机和笔记本电脑等各种设备上实时 3D 渲染整个公寓等大型场景。

SMERF 代表 Streamable Memory Efficient Radiance Fields，是一种基于 NeRF 的方法，该方法依赖于内存效率更高的 MERF（Memory-Efficient Radiance Fields）。

SMERF 向 Zip-NeRF 学习

SMERF 专门研究大型 3D 表示，例如所涉及研究人员的整个房屋。

为此，团队结合了分层模型分区方案，其中空间的不同部分和学习的参数由不同的 MERF 表示。这增加了模型容量，同时限制了计算和存储需求——如此大的 3D 表示无法使用经典 NeRF 实时渲染。

为了提高 SMERF 的表示质量，研究人员采用了“师生”蒸馏法，其中使用已经训练好的高质量 Zip-NeRF 模型（“教师”）来监督新的 MERF 模型（“学生”） “）用来。

这种方法使研究人员能够将更强大的 Zip-NeRF 模型的细节水平和图像质量转移到更高效、更快的结构，这对于智能手机和笔记本电脑等功能较弱的设备上的应用特别有用。

经过训练后，SMERF 可以在网络浏览器中实现完整的六自由度导航，并在流行的智能手机和笔记本电脑上进行实时渲染。

实时渲染大型 3D 场景的能力对于视频游戏、虚拟和增强现实以及专业设计和建筑应用等各种应用非常重要。例如，在谷歌，该方法可用于沉浸式视图。

然而，该方法也存在局限性：虽然该方法提供了出色的重建质量和存储效率，但其存储成本高、加载时间长和训练量大。

然而，这项工作表明 NeRF 和类似的辐射场仍然比 3D 高斯溅射具有优势。

更多信息可以在 S MERF 项目页面上找到。还有一些演示显示来自公寓的实时流媒体。

SMERF（流式内存高效辐射场）基于内存高效辐射场 (MERF)，并使用分层模型分区方案来实现内存高效渲染，以及从 Zip-NeRF 中进行师生蒸馏以获得更好的渲染质量。