查看
BBC的NeRFs最佳用例
(
日前,BBCResearch&Development的视觉计算团队与BBC6Music音乐频道合作,使用NeRFs技术来支持年度的T恤日活动(粉丝可以穿上自己最喜欢的乐队T恤并点歌)。在一篇博文中,他们撰文介绍了如何用2D智能手机图像创建令人印象深刻的3D视频:
我们的任务是为
因为工作室往往是相对较小的空间,我们通常不会为广播制作复杂的移动镜头,所以我们认为这可能是NeRFs的最佳用例。
NeRFs这种神经网络可以表示真实的生活场景,并允许我们非常自由地在场景中移动。它们使用一组来自环境的2D图像进行训练,而一旦处理,我们就可以制作新的视觉路径(或移动镜头)。NeRFs并不新鲜,我们从2020年开始就一直在研究它们,但新视图合成算法的最新进展意味着输出的质量和我们创建NeRFs的速度都得到了极大的提高。我们期待这项技术继续快速发展,但我们非常好奇我们现在是否已经能够创造出可用的内容。
它们在展示冻结的“时刻”和穿越相关空间的旅程之间提供了一条有趣的路线,而我们在制作每个视频时都学到了关于捕获或处理NeRFs过程的新知识。
我们制作NeRFs的指南
Nerfacto。
决定你想要通过场景导出的帧和动作。
查看生成的视频。
如果视频结果如你所愿,恭喜你,你现在可以将其放到编辑中。
但如果视频没有达到你想要的效果,要么重新导出不同的路径(相对快速和简单),要么重新训练你的神经网络(缓慢和烦人),或者甚至回去重新捕获视频(有时是最快的方法,但绝对令人讨厌)。
有人坐在桌子旁用电脑编辑拍摄的视频,桌上的记事本代表着视频中场景的空间。在记事本上写下乐队成员在现场的位置。
每个视频需要几分钟来拍摄,最多一个小时来处理,大约9个小时来训练网络,半小时来选择我们的路径,大约4个小时来导出一个可用的最终视频。正如有人指出的一样,这个过程很像冲洗一卷胶卷,你必须耐心等待它的结果。
我们决定将我们的视频导出为相当缓慢的空间旅程,这使得稍后在视频编辑器中改变路径的速度变得更加容易。
我们的第一个NeRFs是玛丽·安妮·霍布斯(MaryAnneHobbs),她非常耐心地帮助了我们。我们在工作室里放置了一个面板灯,以确保与背景相比可以捕获到最清晰的玛丽。我们不确定我们想要什么样的路径,所以我们全面地捕获了整个工作室,包括玛丽·安妮的背后,以及面对房间的各个方面,涵盖高低角度。所以,当从90秒的视频中提取时,大部分输入都不是玛丽·安,而是工作室和其中的所有细节。
这意味着神经网络有大量的视觉信息要存储,不仅是玛丽·安,还有房间的所有细节,并将它们呈现为几乎相同的质量。这让我们在选择最终的路径方面有了很大的灵活性,但我们的实际拍摄对象玛丽·安的分辨率低于通常通过编辑标准的分辨率。
我们从第一个实验中得出的结论是,在为NeRFs捕获数据之前,重要的是要了解你希望采用的路径。这包括你想要关注的内容以及你想要看到的视角范围,以便将网络的注意力集中在目标区域。