今年的F8大会虽然被取消,但是Meta仍在不断向外界传递最新的研发进展。在MetaAI部门InsidetheLab活动将定期向媒体公开,最近的一次关于头显原型展示的主题可谓是信息量爆炸,似乎就是F8的重现。
与去年Connect上宣布的ProjectCambria不同,它们往往是准量产机型,并即将发售。今天展示的更多是技术原型,在这段约30分钟的视频中共展示四款原型机,可以让我们更全面地了解到Meta在VR头显中采用的最新技术和设计方向。
本次的InsidetheLab公开视频由扎克伯格和Meta首席科学家MichaelAbrush共同主讲,最新公布的四款原型机代号分别为:Butterscotch、Starburst、Holocake2、MirrorLake。
这四款原型机分别代表着VR产品不同的演进方向,如Butterscotch以高分辨率/高清显示为核心,在产品体积和重量上就会有取舍;Starburst像是更前沿的技术研究,以HDR和超高亮度为核心;Holocake2更像是轻量化的准量产机,以小巧、轻薄为;MirrorLake特点则更显示将各种新技术融合在一起的轻量化VR眼镜。
而“视觉图灵测试”同理,即看测试者是能够从VR显示的环境和真实世界进行区分。MichaelAbrush表示:截至目前,还没有任何VR技术能够通过“视觉图灵测试”。也就是说,让VR在视觉上能够“欺骗”人类视觉,让你完全相信“通过VR看到的视觉是真实可信的”。
而Meta显示系统研究团队(简称:DSR),进一步对视觉图灵测试提出四大硬性要求,必须满足四个条件才能通过测试,分别是:
- 1,自然变焦显示系统,类似人眼般的聚焦,支持视力矫正;
- 2,达到视网膜级别的分辨率,PPD都足够高;
- 3,矫正透镜带来的畸变、色散、鬼影等显示问题;
- 4,支持HDR能力,亮度更高,色域更广、对比度更高等。
满足上述条件并可适应人眼视觉的VR显示开启全新的可能,1,增加社交临场感,可以充分感觉到和其他人同处一个虚拟空间;2,带来全新的视觉体验,提供全新的视觉表达方式。
扎克伯格谈到:这将是一个综合的技术进步,除了显示技术自身外,对VR头显的软件、芯片、传感器等硬件来说需要做到无缝协同。
变焦显示原型HalfDome
在2018、2019年Meta就多次展示过HalfDome原型机,其中重点提到了自然的变焦显示能力。因为现阶段的VR屏幕显示的都是2D平面图,而一旦和人眼的视觉冲突就会导致潜在的模糊、眼睛不适、甚至眩晕、恶心等情况,也就是所谓的视觉辐辏冲突(VAC)。
根据最新消息,初代变焦显示原型创建于2015年,但体积非常大;后在2017年开发HalfDome0代,外观上类似于Rift。
直到2019年的HalfDome3有了重大突破,通过多层薄薄的液晶透镜模组,实现64个焦平面的平滑切换,同时体积可以做到更小。
虽然在此之后,并没有HalfDome的进展,但该系列原型机证实了变焦显示可以带来巨大的益处。
Butterscotch原型机
前面提到视网膜级别的VR显示,那么在Meta眼中到底要达到什么水准呢?
Meta提到,想要达到视觉上的“以假乱真”,VR头显需要达到单眼8K分辨率,以及60PPD的水平。而Quest的单眼在2K分辨率,PPD也仅20左右。
MichaelAbrush还谈到:相比当前的笔记本电脑、电视机而言,VR头显对亮度、色域、对比度要求明显更低。因此,从细节和真实感角度看,VR无法真正达到我们对2D显示屏所期待的水平。
Butterscotch是目前Meta最新的关于视网膜显示的原型机,也是对外公布的第一款视网膜VR原型机。参数规格方面,Butterscotch的PPD达到了55,虽然较Quest2有大幅提升,但是同样有所取舍。
比如,为了实现这么高的PPD,Meta采用全新的混合透镜,FOV仅仅是多数VR头显的一半,也就是50度左右的水平。
通过上图也能看出,Butterscotch体积庞大,当前还不足以应用到商用产品中来。不过MichaelAbrush表示:它确实体现了高分辨率对VR的积极作用,比如用它可以看清楚树叶上的细节。
基于模拟器的预失真研究
光学失真包括:图像畸变、色散、鬼影等等,通常是因为VR的光学透镜导致,对视觉的影响相当大。在现有的VR如Quest2中,是通过软件算法进行补偿和矫正,也就是说原始图像是经过矫正的图像,通过透镜来模拟正常图像显示效果。
MichaelAbrush表示:虽然通过软件算法可以得到一个不错的近似值,但是实际应用的结果并不算理想。因为,人眼是朝着不同方向在看,而图像失真也会因此而变化。完美的失真矫正应该是动态的,根据眼球运动自适应的。
目前Meta在失真矫正上研发了一个新的模拟器,通过模拟器可以在几分钟内模拟和评估失真情况。而在此之前,往往需要几个月时间来评估,效率大大提升。
MichaelAbrush谈到:这个失真模拟器的原理是,通过3D电视显示虚拟图像+眼球追踪技术来重现/模拟不同光学方案的VR中看到的失真效果。它的好处是不需要开发真正的原型机,即可针对不同光学方案的设计进行失真矫正算法设计。
Starburst:HDR原型机
在2D屏幕下,我认为HDR提升比2K到4K的视觉提升体验更大。而在VR中同样如此,和真实中看到的类似,颜色逼真,明亮环境亮度足够,而黑暗环境则尽可能以黑色显示。
以亮度为例,传统2D显示屏对HDR的要求在1000nit,作为对比Quest2亮度也就100nit左右。
为了实现HDR显示能力,MetaDSR团队开发了一种基于液晶屏+高强背光的显示模组。目前已经应用在Starburst原型中,它的亮度可以达到20000nit,这种亮度足以模拟各种环境。
扎克伯格表示:第一代HDR原型机的缺点也很明显,有线设计,体积庞大、笨重,而且还是手持式的设计,更多用于测试和研究,远达不到商业化的水平。
Holocake2原型机
与前面的原型相比,Holocake2体积更小巧,外观更时尚,也更像是准量产机,外观上和ProjectCmabria也有一些相似之处。不同的是,Holocake2是一款PCVR头显。
Holocake2的特别之处在于,将全息透镜和Pancake透镜结合,分辨率、FOV、Eyebox和Quest2基本一致,但是却实现了轻薄的外观,和更小巧的体积。当然,因为是PCVR头显Holocake2没有内置计算模组和散热模块,否则体积同样也会更大。
光学方面,Holocake2的光学模组可以看作是Pancake的升级。从上图来看,传统透镜、Pancake透镜、以及Holocake透镜在透镜模组的厚度上不断减小,为实现更小的机身提供帮助。
Holocake2在屏幕上也做了优化,为了保证高亮度和极佳的色彩显示,它采用了激光显示方案,取代LED屏幕。当然,激光模组的一个特点是尚未达到量产阶段,无法大规模展开部署。
MichaelAbrush表示:在Holocake2上面还有很多工作要做,比如要确保激光模组足够安全、成本可控,显示效率足够高,并且可以与轻薄的VR头显集成在一起。如果激光显示技术Ready,那么打造一台太阳镜版的VR就不难了。
MirrorLake原型机
上面提到的几款原型机,在显示能力方面都有不同的研发倾向,各有特色。而最终,Meta的目标是将这些技术应用到一台VR头显中,并且保证具备轻薄的外形和较低的功耗。
MirrorLake原型机的目的正是如此,也正因为这是一个多元技术的综合体,本次并没有实际展示,仍然处于设计和论证阶段。
根据说明,MirrorLake还提供了直通显示能力,即机身外部会显示佩戴者的眼神和面部细节,避免与外部人士交流产生割裂感。类似的技术Meta此前进行过公布,甚至有消息苹果也有类似功能的VR原型机。
看过之后,愈发感觉Meta在厚积薄发,毕竟大量人力、资金投进去,结果也是显而易见的。这些结果中,主要还是以显示进化为主,同时不断的改进产品体积、功耗等。同时可见,尽管其他科技巨头在AR上加大力度,但VR仍然是Meta持续发力的方向,未来的体验会越来越好。