将虚实场景融合,Ubiquity6推出3D扫描场景编辑工具

2020-01-15 18:37:43来源:青亭网


刚刚结束的CES2020上,最吸引眼球之一的莫过于索尼的展台啦!

无我VR 聚合新闻

除了已经被各路新闻抢先报道的电动车VISION-S的亮相:

无我VR 聚合新闻

索尼这次还专门用了两大展区专门发布了光场相关的两项黑科技:3DSpatialRealityDisplayTechnology和 Virtual ProductionTechnologyusing3DVolumetric Capture

是不是不明觉厉呢!那赶快一起来看看吧!

无我VR 聚合新闻

通过图片可以看到,展台背景是一整块屏幕,屏幕前的地上有真实的布景,包括冒烟的下水井盖和一辆真实的汽车,还有一条弧形摄影机轨道从展台后侧靠近屏幕的位置延伸到观众侧,摄影机的画面所拍摄到的画面被实时传送到旁边的小屏幕上。

随着拍摄开始,可以看到背景大屏上出现一段街景,随着镜头移动,大屏内容也跟着镜头变化,神奇的是,摄影机拍摄出的画面,前景的汽车和背后屏幕上的街景融合在一起,毫无违和感!无论镜头怎么拉近拉远或是自由移动,始终感觉前景的地面和汽车就好像是真的在这条街一样。

无我VR 聚合新闻

我们可以看到,随着镜头移动,背景的大屏上,街景上建筑物的门厅与光的变化都是和现场拍摄完美匹配的。甚至前景汽车表面和地面水坑上反射的街景,都是完美如真的。

这么完美的效果是如何实现的呢?那是因为背景的街景是提前通过volumetriccapturing的方式采集制作好的,相当于采集到了这条街的光场信息,即空间中所有的光,然后根据镜头位置的变化,即角度、距离和景深的变化,背景大屏会绘制出这个角度正确的光的信息。所以不论镜头怎样变换,真实的前景和屏幕上的背景都能很好地融为一体。

那有同学可能会问啦,这和普通的绿幕技术有什么区别呢?

区别很大。首先,在原理层面,绿幕拍摄是将绿幕置于真实场景后方,以其为背景进行拍摄,并通过后期抠像等技术将绿色背景替换成新的场景。而索尼在CES2020展示的体验,基于AtomView技术方案,实时获取摄像机在滑轨上的位置,基于这个位置实时渲染出被背景场景在该角度下的正确图像,

因此,相机在滑轨上移动拍摄的过程中,看到的内容正是被摄物体与环境任意相对位置的正确呈现。简单来说可以理解为,无论从哪个方向看被摄物体,其与环境的景深和遮挡关系都像真实环境一样合理且自然。

无我VR 聚合新闻

在实际应用层面,通过AtomView拍摄呈现的画面,虚拟场景和真实场景的光线是可以发生交互的。如下图,地面水坑中映出的灯光倒影,是会随着相机角度的移动而发生变化的。这种光线的交互,将令虚实之间的融合更加自然。而通过绿幕拍摄呈现的虚拟场景和真实场景中的光线则是无法发生交互的,呈现效果将远不如AtomView。

无我VR 聚合新闻

那更懂一点的同学就会问啦,那我把街景的三维采集下来不就可以了嘛?为什么一定要把光场采集下来呢?动态三维重建技术的原理是重建场景的几何,并基于某种着色模型计算场景的材质,这种重建方式无法表现复杂的光影效果,是不能满足电影制作需求的。但光场采集可以完美呈现复杂的场景和光影的变化,采集内容更是具有“照片级”的真实感。因此,以光场采集的街景作为背景,将更能达到“真假难辨”的效果。

那这个技术在实际应用中有什么好处呢?正如上面所说,电影拍摄时,有一些稍纵即逝的背景总是需要非常耐心的等待,比如完美的夕阳、山间的浓雾。据说侯孝贤在拍《聂隐娘》的时候,为了等一个云开的镜头,就足足等了一周!

无我VR 聚合新闻

而好不容易云来了,夕阳出现了,演员们又压力山大了,因为再资深的戏骨也很难保证一条过。这样反复折腾两次,剧组分分钟要破产啦!

无我VR 聚合新闻

而如果有了光场采集技术,我们就可以把大自然稍纵即逝的美完美捕捉下来!然后演员们就可以自由地发挥啦,想来几条来几条,当然,需要导演同意啦。

无我VR 聚合新闻

比如说,一些花费巨大的背景镜头,比如真实的爆破,如果我们可以把它捕捉下来,导演后期就可以想从什么镜头拍就从什么镜头拍,演员也可以更自由地发挥,而不用担心成本啦!

无我VR 聚合新闻

再比如说,一些不能实景拍摄的场地,比如受保护的遗址和非常危险的场地,以前可能需要花费巨资去实景搭建。那有了这项技术,我们就可以把场景捕捉下来,后期在索尼的影棚里,想怎么拍怎么拍,再也不用担心,踩破一块地砖就全组倾家荡产啦!

无我VR 聚合新闻

听起来是不是很激动人心呢!实际上,UnrealEngine的virtualproduction使用的也是这项技术。但二者在拍摄时真实场景后方大屏幕里的显示内容上有所不同,UnrealEngine的屏幕内显示的是虚拟内容,Sony显示的则是光场采集的场景。

无我VR 聚合新闻

那国内有没有做类似技术的公司呢?奥本未来就是一家专注于光场采集与渲染技术的公司,其光场内容,已经服务了国内众多平台和品牌,也是第一个可以在手机上体验的光场内容!

无我VR 聚合新闻

有了光场采集来的三维内容,那要在什么样的硬件上体验才是最棒的呢?那当然就是索尼的另一项黑科技——“眼球追踪光场显示器”啦!

无我VR 聚合新闻

展台排队n久之后,会被领到一个如图所示的小盒子前面。小盒子没有顶面和正面,有一个斜拉的屏幕。屏幕上方有Sony自研的眼球追踪器。由于可以追踪眼球,所以可以根据眼睛观察的方向和距离,来绘制正确三维内容,所以从各个角度都可以观察到正确的三维内容,从而达到自然观察一个三维物体的体验。

无我VR 聚合新闻

因现场拍摄角度限制未能呈现最佳效果,随人眼视角观看体验更佳哦~

实际体验的时候会发现,Sony眼球追踪器的体验相当不错。追踪速度快,几乎人刚坐在体验区就可以追踪到眼球的动向;同时追踪稳定,即使头部快速晃动也不会追踪丢。

总体感觉,像素还是比较高,因为周围几面是黑的,对比度和亮度都不错,方便创作者将各种引擎制作或采集的三维内容用这个显示器查看。这样一来,所有三维的游戏和娱乐内容都可以在这样一个“真-三维显示器”上体验,是不是想想就很开心呀!然后默念三遍“索尼大法好”~~~

其实纵观整个CES,与光场相关的技术和公司真是不少呢!荷兰公司Dimenco也发布了眼球追踪的光场显示器;另一家公司LookingGlass更是发布了裸眼光场显示器!

2020年被称为光场技术的“元年”,光场显示技术和硬件在不断进步,光场采集建模绘制技术也有了新的升级。高质量的光场数字内容与显示技术相结合,无疑将把AR/VR的沉浸感推上一个新高度,亦将推动光场技术应用真正进入每个人的生活。

新闻媒体更多>>
  • VR网
  • Yivian
  • 青亭网
  • 麦逗VR
  • VR陀螺
  • 魔多VR