Meta显示系统负责人演讲:完美AR/VR头显的十大障碍

2022-08-17 12:10:32来源:YiVian


查看引用/信息源请点击:mixed-news

要开发近乎完美的VR头显,行业必须首先解决这十个障碍

映维网Nweon2022年08月17日)道格拉斯·兰曼(DouglasLanman)供职Meta已有八年时间,并主要负责显示系统开发。在今年六月,Meta首席执行官马克·扎克伯格和RealityLabs首席科学家迈克尔·亚伯拉什(MichaelAbrash)就有分享兰曼团队参与的原型。他们的目标是实现一种能够视觉再现物理现实的虚拟现实显示器,同时将其整合在紧凑头显之中。

MetaVR视觉图灵征途:深度分享变焦、畸变、高分辨率、HDR等原型设计和研发

但要开发近乎完美的VR头显,行业依然面临一系列的挑战,而道格拉斯·兰曼在今年的Siggraph大会就介绍了其中的十大障碍:

无我VR 聚合新闻

Quest2单眼2K,PPD为20。

无我VR 聚合新闻

为了帮助研究人员体验“视网膜分辨率”,并评估其沉浸式效果,Meta开发了一款实验原型Butterscotch。兰曼指出,高分辨率显示器的开发和生产不是最大的问题。问题在于支持这等高分辨率显示器所需的计算能力。注视点渲染和云端串流可能有所帮助,但它们本身存在重大的技术挑战。

社交体验中支持眼神交流,并且提供新的交互方式。

无我VR 聚合新闻

不过,眼动追踪的一个问题是,它并不能支持所有人,毕竟不同人的瞳孔不尽相同。所以,行业需要一个能够覆盖广泛人口的可靠解决方案。否则,这项技术不但无法提供帮助,反而会令消费者感到失望。

8.高动态范围(HDR)

物理对象和环境的亮度远高于虚拟现实显示器。针对这个问题,Meta构建了一款亮度峰值可以达到20000NIT的原型Starburst。相比之下,HDR电视可以提供数千NIT,而Quest2只能提供100NIT。

无我VR 聚合新闻

Starburst可以逼真地模拟封闭房间和夜间环境中的照明条件。不过,目前的原型机非常重,需要悬挂到天花板。另外,这个原型非常耗能。

值得一提的是,Meta认为HDR对视觉真实感的贡献要大于分辨率和可变焦距,但距离实际实现最为遥远。

9.视觉真实感

完美的VR头显必须在两个方向都做到半透明。VR用户应该能够看到环境,而环境同样能够看到VR用户。这既是出于用户舒适性的原因,又是出于社会接受度的原因。

头显传感器记录环境并在虚拟现实中显示为视频图像。这称为“透视”的技术已经存在于商用VR头显中,不过质量很差。例如,Quest2提供了一种黑白相间的透视模式,而“QuestPro”则应该可以以更高的分辨率和彩色透视进一步实现质量提升。

然而,系统尚未实现物理环境的完美重建。有待解决的问题之一是,透视技术捕获的是从眼睛空间移位的世界视角,而这在长时间使用过程中可能会产生问题。所以,Meta正在研究人工智能辅助的视线合成,从而实时生成透视正确的视点,并实现高视觉保真度。

无我VR 聚合新闻

值得一提的是,Meta同时有在探索“反向透视”的技术。VR头显一般会遮挡用户的面容,但利用反向透视,第三人将可以看到VR用户的眼睛和面部,从而可以进行眼神交流或阅读面部表情。不过,所述技术尚未成熟。

10.面部重建

空间共在感是Meta的最终目标之一。这家公司希望有朝一日人们能够在虚拟空间中实现如同现实世界一样的共在会面。为此,Meta正在展开名为CodecAvatars的项目研究。尽管团队已经在质量方面取得了长足的进步,但相关成本依然高昂。

当然,这方面的第一步是实时读取面部表情,并将其传输到VR头显之中,而QuestPro将是Meta第一款提供面容追踪的设备。