谷歌一直坚信虚拟现实身临其境的力量,所以他们设立了Expeditions项目,力图帮助世界各地的人们前往无数令人惊叹的、难以触及的或者无法达至的地方;所以他们启动了Jump项目,帮助专业创意人士开发美轮美奂的立体360度VR视频;所以他们推出了VR180项目,一种旨在帮助任何人(即便你不熟悉VR技术)捉住生命中的特殊时刻。
但要创建最为逼真的临场感,在VR中展示的内容需要尽可能接近看到的内容。当你置身于某个地方时,如果你移动头部,世界会对你做出反应:光线将以不同的方式从地面反射,而你可以从不同的角度感知场景。据了解,为了帮助在VR中创建更逼真的临场感,谷歌正在实验光场技术。
光场是一种先进的捕捉,拼接和渲染算法。通过为静态捕捉图像生成运动视差和非常逼真的纹理和光照,光场可以向你提供极高质量的临场感。为了展示这种技术的潜力,谷歌日前正式在Steam上发行了免费应用“Welcome to Light Fields”(点击前往),支持HTC Vive,Oculus Rift和WMR头显。下面小编希望向大家介绍具体的工作原理。
1. 捕捉和处理光场
对于光场,附近的对象似乎相当靠近你。当你移动头部的时候,它们看起来的变化会很大。远处的对象变化较少,不同对象的光线发射也不同,因此你会得到强烈的暗示,认为自己正身处于3D空间之中。当通过支持位置追踪的VR头显进行浏览时,光场可以根据真实世界中捕获的片段实现真正令人惊叹的VR体验。
这一切的原因在于光场可以记录进入空间的所有不同光线。为了记录它们,谷歌改装了一台GoPro Odyssey Jump相机平台,将其弯曲成16个镜头的垂直弧形并安装在旋转平台上。
左:在发现号航天飞船甲板上拍摄的球形光场延时拍摄视频。
右:光场渲染允许我们通过对镜头记录的光线进行采样和插值,并且在球形空间内的任何位置合成新场景视图。
相机平台旋转并录制70厘米球体上的大约1000个外向视角大概需要1分钟。这提供了一个两英尺宽的光线量,而后者决定了顶部空间的大小,亦即用户为探索场景而转动头部的空间。为了向头显渲染视图,谷歌从球体表面上的相机位置采样光线,从而构建从球体内部看到的新视图,并以此匹配用户移动头部的方式。它们在一个自定义数据集文件中对齐和压缩,据小编了解谷歌是通过作为Unity游戏引擎插件的特殊渲染软件读取这个数据集文件。
2. 用光场记录世界
谷歌选择了数个特殊场所来测试他们的光场相机平台。谷歌表示,他们钟爱帕萨迪纳盖博住宅(Gamble House)的亮漆柚木和红木内饰,威尼斯马赛克小屋(Mosaic Tile House)的光泽陶瓷和闪亮,以及格拉纳达山圣斯蒂芬教堂那阳光潋滟的彩色玻璃窗。最重要的是,史密森学会的航空航天博物馆和3D数字化办公室允许谷歌进入NASA的发现号航天飞船,在这个不对外开放的飞行甲板中为我们提供宇航员的视角。最后谷歌录制了一系列的光场,并且实验了眼神接触如何应用于6自由度体验。