一段录音,一支视频,或是一张照片,都是记录人生喜怒哀乐的常见方式。你是否曾想过,有一天科幻电影里的全息技术走进现实,让记忆能够以立体的全息形式流传给世世代代的后人?
大约一年半前,全息显示技术公司LookingGlass联合创始人兼CEOShawnFrayne就这么跟团队的成员说:我有一个紧急且私人请求,就是开发之前一直在讨论中的容积或光场记录装置。因为我的兄弟Ryan患了胰腺癌,我想用一种独一无二的逼真方式来记录他想和刚出生的女儿说的话。
Shwan总结了适合在全息显示屏中播放的四种主要的高保真3D捕捉方式,包括:容积捕捉工作室、便携式&模块化深度摄像头、光场捕捉、手机端深度摄像头,其中手机的深度摄像头最方便,同时分辨率是四种方式中最低的,而光场捕捉虽然是其中最不方便的,但是清晰度最高。
与2D电影拍摄的演变史相似,容积视频捕捉也开始从只能在大型工作室内拍摄演变成通过成本更低的小型深度相机就可以完成。
目前市面上成本相对较低的深度相机,如全新的AzureKinect等可以与Depthkit等软件工具相结合,让更多开发者和艺术家能够进行容积电影拍摄和创作。这种便携式深度相机拍摄出的视频质量足以接近甚至超越大型容积视频工作室。
此外,便携式深度相机还具有模块化的特点,可根据不同制作规模和周期来调整所使用的的相机数量,比预定大工作室要灵活得多。因此,LookingGlass实验室也常常用深度相机来进行拍摄。
尽管如此,便携式深度相机依然受到保真度的局限,和大型容积捕捉工作室一样,拍摄出的容积视频并不能捕捉到发丝等细节,甚至无法捕捉到反光面等关键的光学效果。此前,青亭网在《这位歌手选择发行MR版MV》一文中就提到,与传统视频拍摄不同,演员在拍摄容积视频还需要对佩戴的饰品有所考量,比如反光的片状耳环在视频中会时有时无,甚至还会产生遮挡面部的阴影。
当然,考虑到深度相机和软件工具在价格、便携性、灵活性上的优势,其视觉效果的限制也多少得到平衡,算是一个性价比较高的方案。在配合上LookingGlass全息显示显示器后,创作者将得到一个便携、快速的完整容积视频拍摄和展示方案。
两种将深度相机与LookingGlass显示屏集成的两种方案:
1)Depthkit+Unity方案:将AzureKinect等深度相机捕捉到的容积视频在LookingGlass等全息显示屏中播放的主要流程是,使用容积摄影软件解决方案Depthkit和Unity引擎。据悉,这个方案的编辑功能强大,修饰容积视频内容的效果最好;
2)DepthMediaPlayer+Depthkit方案:第一个方案可能比较适合具有编程经验的开发者,大多数电影制作人可能并不熟悉Unity这个工具。因此,为了降低在全息显示屏中播放容积视频的门槛,LookingGlass将于2020年1月推出一种全新的工具:DepthMediaPlayer(深度媒体播放器)。据悉,在将容积视频通过Depthkit处理之后,就可以直接在任何一款LookingGlass的深度媒体播放器中运行,过程足够简单,就像是播放平面视屏一样,不需要经过Unity等游戏引擎。
Shawn表示:对于用全息形式完美还原真实世界来讲,从光场捕捉到直接显示的流程是关键步骤。这是因为光场的输入输出方式从根本上就和容积视频捕捉不同。光场捕捉,其实就是对真实场景的亮度、色彩和光线的方向进行捕捉和重现,完全绕开了容积视频制作过程中需要的3D建模工序,因此精准度也是容积视频捕捉方案无法达到的水准。
据了解,光场捕捉方案可拍摄3D静态图,或者刷新率30fps以上的光场视频。LookingGlass联合创始人兼CTOAlexHornstein近年来一直在这个领域进行大量实验,最近还曾与国家地理以及一些探险家一起远征,尝试在全球拍摄几乎与世隔绝的地区和濒危物种。他们的目标是,让更多人通过光场捕捉看到对这些地方和物种的逼真还原。
如果你觉得前面三种方法对你来讲太高端了,那么可以考虑基于手机端的深度摄像头。
目前,市面上内置深度摄像头的手机包括iPhoneX、Xs和11系列苹果手机,以及Pixel4等安卓手机,这些手机主要用深度摄像头来进行更立体的人像捕捉,当然也可以用来拍摄能够在全息显示屏中播放的深度景色照片。
用手机的深度摄像头拍照很快速、方便,而且乐趣无穷。手机摄像头的拍摄质量自然达不到前三种方案的水平,这是因为一颗摄像头方案容易在全息重建的过程中形成图像缺失。不过随着技术不断发展,手机的深度摄像头拍摄质量越来越好,已经可以被用户广泛使用。
在LookingGlass中播放手机深度摄像头捕捉到的视频:LookingGlass将在2020年1月推出全新的iOS应用:Moments3D,让手机端拍摄到全息显示的过程更加简便,未来还将发布拍摄深度照片的课程文件。
总之,Shawn认为光场捕捉与全息显示的结合距离我们越来越近,甚至在明年,用这个流程来拍摄和捕捉回忆将变成现实。本文系青亭网翻译自: