近日,VR视频公司Pixvana宣布推出全新的“overlay”VR视频播放技术,该技术现已支持其新版的SPIN Play平台。而为了使用户观看更高质量的VR视频,Pixvana开发了一种全新的流视频技术——视场自适应流式传输技术(Field-of-View Adaptive Streaming简称FOVAS),以使其能在低带宽的要求下向任意头显传输更高质量的VR视频。本文就来详细说一说这项新技术。
为了更有效地通过网络传输VR视频,Pixvana开发了独特的视场变换技术。VR视频往往需要多个摄像头同时进行拍摄输入,有时甚至多达24个。然后,工作人员将视频流进行拼合以创建围绕用户的全景视图。这种全景图的分辨率甚至可以超过10000p。最终的VR视频通常需要压缩至4K分辨率(3840×1920),以方便通过标准的网络进行传输。不过,4K分辨率不足以为当前的头显带来逼真的观看体验,模糊的视频总是会打破用户的沉浸感。而Pixvana应用的这一全新的视频传输技术恰恰能解决这一问题。
1. 为什么传统方式的4K VR流视频不可行?
流式传输4K VR视频会导致视频质量下降和带宽浪费。目前,一般VR头显的FOV约为90度,大概是整个视频球体的六分之一。当在4K VR视频中通过这个视口浏览场景,用户所看到的像素将低于头显显示器能够渲染出的像素。在任何时候通常来说,超过80%的视频场景用户视野中看不到的,而这是对数据带宽的巨大浪费。
2. Viewports(视口):根据视野范围(FOV)优化视频流
其解决方案是将VR视频解压成多个数据流,每个数据流都是球体视频的其中一个“ 视口 ”。现在,用户在每个视口区域所看到的画面都以不同的分辨率呈现,以完美填充VR头显的最大分辨率。视口将包含当前的视野场以及视野之外区域的较低分辨率版本,以扩充观看者的周边视野。用户视野范围内将看到高分辨率的VR画面,而在视野范围外的画面将以相对较低分辨率的画面呈现,以有效利用数据带宽。
3. Viewboxes(视箱):用于投射不同分辨率的图像投影技术
为了在单个视频流中实现这种高分辨率图像区域和低分辨率图像区域的结合,Pixvana已经探索了一系列在一个视口中提供更高分辨率的图像投影技术,即Viewbox。
请将视箱想象成一个包裹头部的灯罩,当用户在这种形状的视箱中浏览VR视频时,他们将感觉到自己位于一个球体之中,但只有直视前方时才能看到最为清晰的视频,而当用户转头时画面则变得更模糊。
结合视口追踪和基于不同头部位置的多个视箱,Pixvana研发出了VR视频自适应流式传输系统。Pixvana的系统能够适应源相机和头显的分辨率变化。黄金比例提供了原始素材的完美像素,可以匹配网络带宽和头显分辨率。
4. 利用Viewports和Viewboxes的自适应VR流视频技术
Pixvana将视箱图像投影技术与多个视口相结合,从而为高质量VR视频提供一种流式传输解决方案。
1.根据用户头部任意的转动来将视频流切换至最优的视口,以呈现高清画面。
2.智能播放器将考虑头部位置等因素安装在最合理的位置,从而为用户提供最好的播放效果。
3.内容创作者可以将获得两全其美的方案:通过保存需要进行流式传输的数据从而为用户呈现更高分辨率的画面,同时降低流式传输成本。
5. XR Cloud
Pixvana正在为VR视频创作打造一个平台——XR Cloud,包括自适应流式传输处理的原生支持。Pixvana旨在为内容创作者提供一个云端引擎,帮助其构建最高质量的VR/AR/MR视频。借助Pixvana系统创建的VR视频,将支持多个平台或头显,包括三星Gear VR、HTC Vive、PSVR、谷歌Cardboard和常见的网络播放器。
6. 免费的SPIN Studio账号
有兴趣的用户现在就可以注册申请免费的SPIN Studio账号,从而利用Pixvana的平台来创建或编辑VR视频。