99VR视界君和大家一起回顾过去。PC花了大约15年时间才达到拐点,而今成为每个人都必须拥有的消费品。起初,电子邮件作为PC的杀手级应用,似乎并没有掀起什么巨变。除了办公楼里的上班一族,外面几乎没有人使用它。新技术总是先渗透到企业中,才进入家庭。一旦人们开始使用个人电子邮件地址,获得互联网在线服务,就开始使PC成为每个人在家里都必须拥有的东西。 电话是另一个很好的例子。获得电话的人越多,必须拥有的人越多。
微软曾表示,尽管远程会议和协作目前还存在明显的技术障碍,但将会比人们想象的更早实现,并且将成为增强和虚拟现实的杀手级应用。杀手级应用是指消费者愿意为这个程序购买某硬件软件产品的应用程序。
同样,信息和社交媒体是智能手机的杀手级应用。远程呈现也应该是AR和VR的杀手级应用之一。微软研究院2016年发布了一段Holoportation的视频。
远程呈现并不是一个新的概念。该术语概括了一系列广泛的虚拟存在方法,它主要分为六大类:
1)2D视频会议系统。这项技术如今已经变得非常复杂,包括眼动追踪。思科的Spark系统主导着数十亿美元的视频会议行业。
2)机器人远程呈现。例如远程水下航行器、无人驾驶飞行器等等。NASA一直希望实现真正的实时机器人远程呈现,事实上,这是80年代VR研究的最初目的之一。然而,由于火星的信号传送到地球会延迟滞后,NASA的科学家们不能直接操纵机器人探测器,如“好奇号”火星探测器。不过,火星轨道上的太空船里的宇航员也许能够进行操纵。
3)远程专家。远程专家通过AR分享的实时信息与视野中的真实物体进行交互,把新手员工训练成为高技能的员工。
4)VR远程呈现。这使我们能够共享Oculus Rooms或AltSpace VR这样的虚拟世界,虚拟世界里的我们则由虚拟形象来表现。虽然今天大多数头像都是卡通形象的,但是很快就能使用3D捕捉实现真实的化身。Sansar和High Fidelity推出的实时嘴唇捕捉和眼神接触,已经让你感觉非常非常接近现实。
5)AR远程呈现。多个远程人员可以存在于同一个空间内,微软称之为Holoportation。这项技术的可行性已经得到了令人信服的证明,现在企业正在设法将这项技术引入商务会议。但并不是所有问题都已经解决了。有几家公司正在研究解决方案,可能会改变思科主导的视频会议行业局面。
6)真实的全息(肉眼可见的)远程呈现,像星球大战里描述的那样(如下图所示)。这种独立的空间全息存在可以通过全息投影仪器、反射镜和隐形投影面来完成。这需要非常特定的环境才能完美实现。虽然参与者不能相互感知彼此的存在,但对于旁观者来说是非常真实的。他们会在现实生活中看到两个(或更多)远程人员,不需要头显,在共享的三维空间中进行交互。然而玩家们只能看着屏幕上的反射。
像“星球大战”一样,史蒂文·斯皮尔伯格的电影《少数派报告》也有增强现实的情节。数据浮在汤姆克鲁斯面前,没有投影面,肉眼可见,他可以用手操纵。然而现实生活中,除非是神经输入才能将图像直接发送到人的大脑。否则,投影的全息图只能在有透明投影面的情况下才能用肉眼看到。
HoloLens和其他AR头显都配备了内置摄像头。然而,创建一个远程呈现应用还需要一个拍摄使用者的外置摄像头。
DVE Telepresence一直在为国家部门和世界上一些最大的公司提供“真正的远程呈现”。联合创始人兼首席执行官Steve McNelley表示实现“真正的远程呈现”需要三件事情:“一是绝对真实的拍摄,相机完美对准眼睛,和增强现实图像(全息图)出现在空间中,不需要眼镜。”DVE有一个称为“4Dp远程呈现平台”的系统,可以在便携式的解决方案中实现所有上述的东西。
微软一直在推动HoloLens的远程呈现和远程协作的另一个愿景,他们称之为HoloPortation。微软研究院的这个视频首先证明了这一点,它允许远程参与者出现在彼此的物理现实中。每个房间都放置了多台3D摄像机。图像被输入本地计算机,将压缩的3D图像传送给用户的HoloLens。
微软研究室的Room2Room是一个真人尺寸的远程呈现系统,它使用AR投影技术,在不使用HoloLens的情况下,实现两个远程参与者之间的共存交互。该解决方案通过使用3D相机执行本地用户的3D捕捉,然后以实物尺寸将体积副本投影到远程空间,创建面对面交谈的体验,甚至包括口头和非口头线索(例如目光、指向等)的共同理解。
为了更灵活、智能,工程师们一直在致力于没有中介投影面的全息技术。
2017年初,微软花费数百万美元制作了一个视频“Envisioning the Future with the HoloLens”,描绘了全息潜在的未来。
微软的研究团队与几所大学继续探索Holoportation,特别是波兰的华沙科技大学,Marek Kowalski和Jacek Naruniec一直在开发Holopresence应用程序LiveScan3D。
LiveScan3D通过同时使用多个Kinect v2深度传感器进行实时三维重建,生成彩色点云,压缩3D视频输入。每个Kinect v2传感器连接到一台单独的计算机。这些计算机都连接到服务器,该服务器允许用户执行校准、过滤、同步帧捕获,以及将获取的点云实时在远程位置可视化。Kowalski和Naruniec在github上共享LiveScan3D源代码,允许其他人在他们的工作基础上继续完善。
其他企业也在VR和AR的3D投影会议方面取得了令人瞩目的进展,特别是Valorem,该系统使欧洲、印度和北美的多个参与者能够实时呈现在用户的办公室中。 Mimesys和Meetingroom.io在共享的虚拟世界中创建3D形象。
Valorem背后的开发领导者,来自HoloreBeam的René Schulte位于德国德累斯顿。他描述了该公司独特的3D实时会议系统,以及如何改变他们德国、西雅图和印度的跨洲团队之间的合作。
“这是使用深度摄像头实时采集的高清图像,收集由颜色、深度信息组成的三维体积视频点云数据。点云数据通过定制的WebRTC流在互联网上流式传输。全息流通过应用程序进行解码,实时3D渲染,在HoloLens等VR和MR设备上提供了令人震惊的3D呈现。它可以在普通的互联网连接运行,它需要3-5 Mbps的比特率。由于我们的自适应、深度编码和流媒体功能,甚至可以在1 Mbit以下工作。它是实时的,没有任何延迟,甚至双方都可以在防火墙后工作,例如在企业网络设置中。不需要特别的连接或设置。连接是通过路由机制建立的,以实现最佳传输速率的点对点连接。”
随着HoloPortation产品的发展,全息点云在未来将具有更高的分辨率,不仅因为深度相机分辨率和带宽的增加,还因为算法可以填充解压缩视频文件中的缺失像素。
Schulte 期待看到在未来的办公室,多个深度感应摄像头可以将世界各地的远程位置合并,或者甚至可以使用我们的手机,在消费类产品中集成深度测绘传感器和双镜头。Valorem预计将在2018年初与客户展开更广泛的试验。
巴黎的Mimesys和都柏林的Meetingroom.io两家初创公司都用VR作为共享协作会议空间的基础,但他们采用了不同的方法。这些系统的核心是将远程参与者的身体捕获带入虚拟空间,就像AltSpace和Oculus Rooms等社交VR中看到的一样。Mimesys允许用户使用任何设备登录他们的虚拟会议,包括HoloLens、平板电脑和智能手机。
Mimesys Connect以共享的虚拟会议室为中心,允许参与者导入和共享3D对象、观看视频、以及其他在商务会议中完成的任何事情。然而,与消费者社交空间不同的是,参与者不是化身形象,而是真实形象的存在。这个区别是非常重要的。
这是一段在Vive上使用Mimesys Connect的体验的视频,体验者甚至能够传递和操纵3D和2D物体。
创始人兼首席执行官Remi Rousseau认为,以VR为中心的方法是最灵活和易用的。“HoloLens Teleportation不能像Mimesys Connect那样进行分享和协作,例如不能在共享白板上进行协作。”
但他这家小型创业公司如何与AltSpace和Oculus Rooms等强大对手竞争?
Rousseau回答说:“有潜在的风险,尤其是Facebook Spaces的威胁,这也是我们现在关注B2B而不是B2C的原因。交流空间是巨大的。像现在共存的WhatsApp、Messenger、Hangouts和Facetime平台,这对VR和AR来说是一样的。不同的观众会有不同的体验。”
Meetingroom.io的创始人兼首席执行官Jonny Cosgrove补充道:“我们还处于起步阶段,但便携性变得越来越重要。”销售总监可以与销售人员面对面并进行管理,公司可以与更多的客户进行交流。 “
长时间从事远程呈现的OJ Winge目前担任思科视频技术集团高级副总裁一职,他表示对Spark的地位充满信心,并计划继续发展业务。