查看引用/信息源请点击：映维网Nweon

无需深度数据，直出3D结构。

（映维网Nweon2023年06月03日）三维表面重建旨在从不同视点观测到的多幅图像中恢复密集的几何场景结构。回收的表面为众多下游应用提供了有用的结构信息，例如用于增强现实/虚拟现实/混合现实的3Dasset生成。使用单目RGB摄像头的摄影测量表面重建特别有趣，因为它允许用户方便地创建现实世界的数字孪生。

日前，英伟达和约翰斯·霍普金斯大学的研究团队就这一主题发布了相关的研究。效果如何：只需向AI提供一段普通视频，它就能自动完成复杂的建筑场景3D重建。无需深度数据，直出3D结构。

神经表面重建已证明是一种使用基于图像的神经渲染来恢复密集3D表面的强大方法，但众多现有的方法都难以提供足够详细的表面结构模型。

为了解决这个问题，团队发布了结合多分辨率3DHashGrid和神经表面渲染能力的Neuralangelo。这个方法主要得益于两个关键方面，首先是使用数值梯度计算高阶导数作为平滑操作。然后，对生成的HashGrid进行coarse-to-fine优化，控制不同细节层次。

即使没有额外的摄像头输入，Neuralangelo都可以有效地从剪辑中产生密集的3D表面结构，而其保真度明显优于大多数以前的方法。

由于Neuralangelo可以生成具有复杂细节和纹理的3D结构，用户可以将3D对象导入3D和设计应用程序中，并进一步编辑它们以供生产使用。

工作原理

你可以使用多视角立体技术来构建点云，但这通常会导致缺失或充满嘈点的表面，并且依然需要与非朗伯材料作斗争。NeRF使用基于坐标的多层感知器将场景表示为隐式函数，从而实现具有视图依赖效果的逼真图像。

它使用MLP对3D场景进行编码，而MLP将3D空间位置映射为颜色和体积密度。利用MLP固有的连续性和NeuralVolumeRendering可以允许优化的表面在空间位置之间进行插值，从而产生光滑和完整的表面表示。

当然，MLP神经渲染的问题在于它们不能很好地缩放。但最近研究学界已经解决了所述问题。新的可伸缩表示称为InstantNGP。

InstantNGP引入了一种具有多分辨率Hash编码和可扩展的轻量级MLP的混合3D网格结构。混合表示大大提高了神经场的能力，并在表示非常细粒度的对象细节方面取得了巨大的成功。

在团队的研究中，他们使用这种新技术为Neuralangelo提供高保真的表面重建。其中，Neuralangelo采用InstantNGP作为3D场景的神经渲染表示，并通过神经表面渲染优化多个不同视图。

Neuralangelo可以从多视图图像中重建场景，从视频剪辑中沿着摄像头视图采样3D位置，并使用多分辨率Hash编码对位置进行编码。Neuralangelo提供的过程简单而有效：使用高阶导数的数值梯度加上coarse-to-fine优化优化策略，它为神经表面重建提供了多分辨率Hash编码的能力。