自首次在CES亮相,CREAL陆续展示出光场显示方案优秀的3D动态变焦效果,并在去年用这项技术打造了AR和VR头显原型。两款头显体积相对较笨重,CREAL的目标是在今年第四季度推出体积更小的AR版本。
为了解决困扰VR的VAC问题,首先要避免在人眼近处显示内容。拿相机镜头距离,当镜头在2米到20米之间变焦,图像差距变化很小,而在20-50厘米近距离变焦时,图像变化看起来更明显。
在VR中,你的注意力通常放在远处的内容上,应用中的交互通常也设定在与用户有一定距离的位置。而在手势识别模式中,不管你的手如何靠近眼前,虚拟手看起来都比较清晰,没有明显的聚焦变化,而这并不符合物理规律,因此可能会打破沉浸感。
实际上,微软在HoloLens文档中就曾提到,将AR内容显示在1-2米距离时,视觉效果更理想。
Tomas表示:这是一个避免问题的办法,并不是解决方案。目前有两种解决方向,一种是基于工程设计,比如利用眼球追踪数据来控制机械移动的屏幕,来动态改变屏幕与人眼的距离,实现变焦。或是利用数字方案,来模拟图像中的动态聚焦和模糊效果。不过这种方案依赖于准确、低延迟的眼球追踪技术,而且计算方案也比较复杂。
另外一种方法更加完整,就是渲染具有完整景深的光场,人眼在不同角度可以看到3D视觉变化。一种基础的方案,是在2D屏幕上叠加透镜阵列,透镜将像素投射到不同的方向,从而实现3D观感。但这种方案大大降低了分辨率,每个视角大概只能观看到三分之一像素,或者一个虚拟像素需要由60个实际像素组成(将分辨率降低60倍),光学效率低。
如果采用相位空间光调制器来实现3D全息,理论上可模拟与现实光100%接近的效果,不过现有的方案实际效果不佳,受到调制器的运行速度限制。
Tomas认为,提升VR的画质,才能颠覆整个行业。在成立CREAL之前,Tomas的目的是解决3D光学难题,在离开实验室后,他开发了原型设备,并根据体验者的反馈,决定为其成立公司。
利用人眼视觉特性
当被问起可否描述一下光场显示有哪些不同时,Tomas回答:光场是一个广泛的术语,它已经不是新的技术,简单来讲指的就是一种拥有多视角的立体显示。在工程、商业等领域有多种不同的应用。而在物理学中,光场主要指的是我们周围的环境光,在每一个点上,光都在向周围任意方向传播。而在工程领域,光场通常指的是多视图显示,可呈现支持多视角观看的3D场景。
相比之下,CREAL的区别在于,它是一种更实用、更有效的光场方案。
通过探索光场视觉技术,CREAL发现了两个常被人忽视的真相,即人体70%受体位于视网膜,大脑90%的感官检测任务来自于视觉。因此,大脑每天接收到的绝大多数信号都是通过人眼来捕捉的,相当于输入带宽最高的一个接收器。另外一点,就是人眼能接收到的清晰信号很少,只有视网膜中央凹处看得最清晰,因此人眼高清视觉的区域小,在看文字时常常需要高速移动眼球,来浏览整句话。
而中央凹之外的余光部分,视觉清晰度大幅降低,几乎难以辨别色彩。
也就是说,人眼其实不需要太多数据,依靠大脑来处理视觉感官,就能营造清晰的视觉效果。实际上,人眼的原理类似于3D扫描仪,而人脑则根据人眼接收的3D数据来构建视觉。
对于AR/VR来讲,因为人眼并不需要大量视觉数据,所以可能也不需要8K、16K分辨率,只需要提供人眼所需的分辨率即可(甚至可能低于手机屏幕分辨率)。
而就光场显示来讲,业内认为这项技术需要运行大量数据,才能渲染高分辨率图像。然而,现有光场显示技术的瓶颈是因为没有充分利用人眼视觉原理。
Tomas表示:人眼视觉形成原理,是通过一定序列叠加周围各种视角来合成。瞳孔本身的尺寸只有几毫米,将左右眼瞳孔识别到的图像结合后,形成了3D视图。即使只有10-20度视角的图像快速进入人眼,也足以营造自然立体的观感。
利用这样的原理,CREAL的方案包含了光源、光组合器(某种反射镜),组合器可以将光以特定的角度投射到人眼中。这种观感有点类似于,当你透过小孔来观看世界的感觉。通过小孔观看世界的好处是,视觉通常比较清晰,受到变焦影响不大。
如果人眼透过多个小孔看世界,那么视觉观感会更加自然,小孔的边缘对视场角的截断并不明显。在此基础上,CREAL将这些小孔集合在一起,也就是说将透过小孔的光整合在一起投射到人眼中,来形成立体自然的图像。
有趣的是,CREAL的光场显示系统目前未结合眼球追踪,也就是说不需要根据人眼视角变化去动态渲染,也能实现立体观感。同时,也在测试与眼球追踪结合的效果,目的是实现某种注视点渲染效果,仅渲染人眼看到的图像帧,从而节省功耗。
关于技术路径
CREAL早期展示的硬件为桌面原型设备,外观非常笨重。后来,在前MagicLeap员工的帮助下,他们进一步缩减了AR和VR方案的体积,打造了AR和VR头显原型。与之前的桌面原型相比,CREALAR和VR头显的主要区别是缩减了电子元件。
实际上,CREAL研发的AR和VR头显原型,在硬件结构上和其他AR/VR头显差别不大,都包含显示驱动、显示器/光源等等。主要的不同是,为了缩减AR/VR头显体积,CREAL自研了显示驱动芯片、组合器(尺寸为7x7mm)、光学元件和组合器。
而在过去一年半时间,CREAL的主要工作是设计一款体积更小的AR/VR眼镜。其中的组合器设计实际上已经完成,预计在8月开始测试首批样机。
Tomas提到,CREAL无法采用现有的光波导组合器,因为大多数光波导方案基于瞳孔复制原理,每束光线都是从不同的角度进入人眼,这无法形成光场,视觉效果还是平面的。
CREAL设计的组合器结构足够简单,主要结构是全息胶片和透镜,而这种全息胶片可以叠加在屈光镜片,与普通眼镜结合。Tomas指出,IntelVaunt、NorthFocals也采用相似的方案,CREAL的区别是眼动范围更大。
据了解,此前展示的CREAL头显原型采用有线设计。当被问及这种设计是否必要,未来能否实现无线化时,Tomas回答:实际上,生成基础光场(文字或箭头等)并不需要过多算力,因此为了缩减AR眼镜的体积,还是需要采用外置电池来供电。目前,CREAL头显连接笔记本或PC的原因是,更复杂的光场内容需要更多算力来运行。
光场显示的关键应用
Tomas认为,需要光场显示的应用场景包括:复杂的3D可视化、高保真AR,适用于工业、医疗等领域。
CREAL现阶段验光设备
目前,CREAL正在开发一款视力检测仪器,其特点是以数字方式模拟镜片,可同时校正多个视觉问题。相比于线下验光程序,基于光场的视力检测仪器可自动运行,无需测试和调整度数。
未来该技术可集成于AR/VR头显,无需佩戴额外的眼镜即可实现屈光调节。
那么为什么CREAL不推出AR/VR头显,而是视力检测仪器呢?
CREAL坦然表示:因为开发AR/VR眼镜是一个长期的目标,需要投入上亿美元研发成本,而且产品的成本也相当高。如果要专注于AR/VR这个长期愿景,CREAL可能会面临很多风险。
TheARShow