最近AR/VR 行业内讨论最多的就是Magic Leap One ， 蛰伏了这么久的公司终于要推出真正的产品了。对于Magic Leap One如何利用光学显示技术来达到虚拟物体不透明，无颗粒感，还能遮挡住物体。这也成为了讨论的焦点。99VR视界君就和大家一起看看光学界的专家要如何解读？
但是，除了看到产品图之外，目前ML One并没有就显示技术给出更清晰的信息。上海科技大学曹煊博士的一篇旧文《Magic Leap光场技术：是技术之跃，更是魔法之跃》对光学显示技术的研究状况，Magic Leap的技术都做了逻辑清晰的解释。其原文于2016年12月发表于《中国电子报》。
作者简介：曹煊，上海科技大学虚拟现实与视觉计算中心（VRVC）博士。实验室由虞晶怡教授领导组建，致力于光场虚拟现实平台的研究和应用，以实现人眼无法分辨的虚拟现实为目标，从光场的捕获、压缩、处理、渲染和显示等方面开展基础理论研究与核心技术攻关。
原文如下：
Magic Leap从诞生之初就万众瞩目，凭借其三大核心技术(SLAM、CG、Light Filed)获得了巨额融资，尤其是其号称的“光场(Light Field)”技术更是被奉为黑科技。但由于迟迟没有推出商业化产品，外界对其质疑不断增加。
近日，随着外媒《The Information》公然“叫板”Magic Leap，国内声音也出现一边倒的趋势。Magic Leap的前两项核心技术SLAM和CG发展已经比较成熟，微软HoloLens已经侧面验证了这两项技术是可以商业化的。外界对其最大质疑集中在第三项核心技术——光场。Magic Leap号称的光场技术真的能如其名一样实现魔法之跃吗?该技术到底能不能改变VR/AR未来的技术路线和商业格局?
光场并非水中月
首先可以明确的是，光场并不是Magic Leap凭空构造出来的新概念，光场技术的理论研究已经持续三十多年，光场技术涉及多个交叉学科，技术难度高，但也不至于像超越光速那么遥不可及，国外多个研究机构都曾公开展示过光场样机(MIT、Stanford 、USC等)。
光场技术从1981年开始受到世界顶级科研机构的关注，并展开了持续的研究。类似电磁场的概念，光场是分布于空间中所有光线的集合。简单来说，光场技术的终极目标就是采集空间中所有的光线并投射出来，实现图1中类似《星球大战》中的数字全息显示。而Magic Leap之前公开的视频中也演示了类似的场景，如图 2所示。
图 1 电影《星球大战》中的全息投影
图 2 Magic Leap 展示类似《星球大战》中的全息显示
Magic Leap号称的光场技术并非水中月镜中花，该技术有足够理论研究支撑，至少实验室级的光场样机早已得到验证。
Magic Leap的虚与实
Magic Leap曾经公开过多个视频素材，包括体育馆的鲸鱼、手中的大象、悬浮的太阳系、办公室的枪击游戏等。其中部分视频明确说明：“直接录制，无任何后期特效”。其他未注明的视频，例如体育馆的鲸鱼，Magic Leap早就承认是特效制作。
在2014年的CES大会上，英特尔就展示过类似的效果(Intel CES 2014 flying whale)，它本质上是一种Video-Based AR技术，将鲸鱼的动态图像叠加在现场拍摄的视频上。
图 3 Magic Leap展示的体育馆的鲸鱼
图 4 Intel在2014 CES大会上展示的Flying Whale
国内普遍误解Magic Leap已经实现了裸眼空中悬浮成像技术，对其期望值甚高。裸眼空中悬浮成像技术目前进展缓慢，该技术在未来10年都难以实现。然而Magic Leap的研发目标并不是这样的技术，也没有表明不需要佩戴眼镜，而且其CEO Rony Abovitz曾展示过一块透明的镜片，可见Magic Leap仍然是需要佩戴眼镜设备的。
该镜片看似普通透明的玻璃片，Magic Leap称之为硅光电技术(Silicon Photonics)，极有可能是Silicon Waveguides技术，光学顶级期刊OE上有大量文章研究过该技术。以色列Lumus以及微软HoloLens采用的是光波导技术(Light Waveguides)，可以使显示器件更轻更薄，但只能为单眼投射单幅图像。而Magic Leap却称其采用的技术不仅能轻薄化，还能为单眼提供多幅不同聚焦的图片，从而实现光场显示。
图 5 Magic Leap展示的硅光波导镜片
Magic Leap曾公开过三段Demo视频，都标注“直接拍摄、无后期特效”，而Demo视频中体现的光场显示技术，可以依靠多种技术方案实现。例如Lanman 在NVIDIA展示过Near-eye Light Field Display的VR头盔样机，虽然分辨率比较低，但确实实现了光场显示。另一种光场显示方案是多投影阵列技术，这也正是Magic Leap所采用的技术，美国南加州大学在2016年CVPR上展示过可实现1:1真人秀的裸眼光场显示，如图6所示，而该系统包括了216个投影仪、6台PC主机，占地一个房间大小。裸眼光场不需要用户佩戴特殊眼镜且能满足多人同时从不同角度观看，因此需要更多的投影仪来增加可视FOV 。Magic Leap需要佩戴眼镜，因此需要的投影仪数量和计算量都更少，但仍然是传统2D图像处理的好几倍。
图 6 美国南加州大学基于多投影的Life-Size光场显示
Magic Leap的光场显示也采用多投影阵列的技术方案，并声称采用了光纤投影，如图7所示。如果该光纤投影能像普通投影仪一样稳定输出彩色图像，那么光场显示系统的体积可大大减小，但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。即使光纤投影达到要求，但光场显示的计算量仍然非常巨大，目前的移动端处理器都难以实现实时的交互式光场显示，仍然需要依赖电脑。
图 7 华盛顿大学模拟的光纤投影
为了减少光场计算量，Magic Leap极有可能采用了眼球追踪技术。如图8所示，RGB光纤输入待显示的图像，I光纤输入红外光并进入人眼，根据红外相机捕获眼球反射的红外光可以分析出当前人眼的注视方向，通过追踪人眼注视方向来对感兴趣区域(ROI)图像进行聚焦处理。
图 8 光纤显示样机
光场显示商业化的拦路虎
总体来说，Magic Leap声称的光场显示在技术原理上是可行的，且多个研究机构都展示过光场显示样机。但Magic Leap要商业化却面临着下列三大挑战：
第一，光场数据量太大，数据存储和传输都将面临问题。未来的AR/MR必然存在内容的分享，就像手机分享2D图片一样，但是现有的网络带宽还无法实现流畅的光场内容分享。近几年，压缩光场技术被提出，利用光场数据的冗余性可大大降低数据存储量。不过，随着5G网络和LiFi技术的发展，这个问题会迎刃而解。
第二，光场计算量大。要实现逼真的光场显示，其计算量是传统2D图像的好几倍，现有的移动端通用处理器难以负担如此大的计算量。微软HoloLens设计了全息处理单元(HPU)，成功克服了通用移动处理器性能不足的问题。Magic Leap曾提及光场芯片(Light-Field Chip)，该芯片能否实现实时的交互式光场处理，只能留给时间来验证了。现阶段的光场处理仍然依赖电脑。
第三，小型化、便携性。从图 6中可以看出，要实现逼真的裸眼(Glass-Free)光场显示所需要的设备的总体积约占一个房间。当然，Magic Leap通过佩戴眼镜降低了对投影数量和计算量的要求，不至于像图6中那么大。第一台计算机诞生时也占据了整个房间，发展到现在的笔记本电脑历经了六十多年。便携式的高性能光场显示样机在十年内是难以实现的，因此Magic Leap必须在设备体积和光场显示效果之间寻找平衡点，才能在短时间内实现小型化。虽然牺牲了光场性能，但相比其他AR产品仍然迈出了重大的第一步。
光场采集更接地气
光场可以分为“光场显示”和“光场采集”，两方面技术的理论研究都已经比较成熟。Magic Leap属于前者，现有的显示器件(LCD、OLED等)在每个像素点发出的光学是各项同性的，简单来说就是，当你从不同角度去看电脑屏幕时，看到的图像是一样的。而光场显示要求每个像素点在不同方向上发出不同的光线，现有显示器件都无法满足。光场显示现在面临的最大困难就是显示器件的革新，这需要材料学、光学、半导体等多个基础学科的共同努力。近几年，这方面的研究不断取得突破，如图9所示，这是David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光，相信不久的未来光场显示器件会大量普及。
图 9 David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光
相比于光场显示，光场采集技术更接地气。因为光场采集不依赖于特殊的光学器件，用传统的单反相机组成阵列即可采集光场，而算法才是光场采集的核心。换句话说，光场显示更依赖于特殊的显示器件(硬件)，而光场采集更依赖于算法(软件)。Magic Leap演示的所有Demo中，无论是机器人、太阳系、办公室的邮件等都是计算机渲染的光场，而没有采集真实场景的光场，可见Magic Leap现在还无暇顾及光场采集技术，亦或等待与其他光场采集技术团队合作。光场采集在洛杉矶的好莱坞已经被大量使用，包括《阿凡达》等经典3D电影都采用了光场采集技术，以达到逼真的3D显示效果。电影《黑客帝国》中躲避子弹的镜头也采用了基于相机整列的光场采集技术。相关技术在国内刚刚兴起，上海大剧院与叠镜科技合作拍摄了360°动静态结合的3D话剧，实现了逼真的虚拟现实体验。
图 10 电影《黑客帝国》中采用的基于相机阵列的光场采集技术
Magic Leap提出的光场显示技术是一种终极显示方式，是一场伟大的、革新的技术突破。虽然投入巨大，商业化还面临困难，但仍然值得投入。面对当前产品商业化的困难，Magic Leap不仅需要研究上的技术之跃，还需要工程上的魔法之跃。
99VR视界：外行看热闹，内行看门道。从曹博士的文章中看来对于Magic Leap的光场显示技术是期待的且真有其事，并不是媒体一边倒的认为只是几段视频的骗术。而目前看来，大家是抱着过高的期望。而从整个行业来说，目前的任何技术都是不成熟且处于发展阶段。过高的期待本身也是不现实的。而从投资方的角度来看，能吸引到多方高额的投资，肯定是有它独特之处而未被我们所见。所以我们还是静待Magic Leap最终的成品吧。
