2022-11-15 06:10:32来源：YiVian
查看
使用仅以静止照片训练的系统产生高分辨率、高质量的Flythroughs飞行漫游视图
（
在名为“InfiniteNature”的研究中，
PerpetualViewGeneration持续视图生成非常具有挑战性，因为系统必须在大型地标（例如山脉）的另一侧生成新内容，并以高逼真度和高分辨率渲染新内容。
经过一番努力后，由谷歌、康奈尔大学、加利福尼亚大学伯克利分校组成的团队于ECCV2022展示的InfiniteNatureZero可以从单个种子图像开始，使用仅以静止照片训练的系统产生高分辨率、高质量的Flythroughs飞行漫游视图。如下面这个视频所示：
AerialCoastlineImageryDataset（ACID）。然而，为了学习如何合成动态响应任何所需3Dcamera路径的场景，不能简单地将所述视频视为原始像素集合。团队同时必须计算它们的基本3D几何结构，包括每帧的camera位置。
研究的基本思想是，逐步学习生成Flythroughs飞行漫游视图。给定一个起始视图，如下图中的第一幅图像，团队首先使用单图像深度预测方法计算深度图。然后，使用深度图将图像向前渲染到一个新的camera视点（如中间所示），并从所述新视点生成一个新图像和深度图。
然而，这个中间图像存在一定的问题：我们可以看到物体后面的区域，但这种区域在起始图像中不可见。另外，它十分模糊，因为我们现在更接近物体，而我们是在拉伸前一帧的像素以渲染现在近看更大的对象。
为了解决所述问题，谷歌训练了一个获取低质量的中间图像，并输出完整的高质量图像和相应深度图的神经图像细化网络。然后，可以重复步骤，以所述合成图像作为新的起点。因为团队对图像和深度图都进行了细化，所以这个过程可以根据需要重复多次。当camera进一步进入场景时，系统会自动学习生成新的风景，如山脉、岛屿和海洋。
谷将这种方法称为“渲染-细化-重复”。接下来，谷歌使用ACID数据集训练这种渲染-细化-重复合成方法。特别是，从数据集中采样一个视频，然后从所述视频中采样一帧。然后，使用所述方法渲染沿着与groundtruth视频相同的camera轨迹移动到场景中的新视图，并将渲染帧与相应的groundtruth帧进行比较，从而导出训练信号。研究人员同时包括一个对抗性设置，将合成帧与真实图像区分开来。
所以，系统可以生成出色的Flythroughs飞行漫游视图，如
InfiniteNature-Zero:LearningPerpetualViewGenerationofNaturalScenesfromSingleImages
团队总结道，这项研究存在一系列令人兴奋的未来方向。例如，所述方法目前仅基于前一帧及其深度图合成场景内容，没有持久的底层3D表示。所以，团队接下来将研究可以生成完整的、逼真的、一致的3D世界的算法。
原文链接：https://news.nweon.com/102554
来源媒体：YiVian
