眼动追踪能够快速精确地测量用户在VR头戴式设备内观看的方向，常常在注视点渲染环境中被讨论，希望能够借此降低 VR 的性能要求。而渲染只是VR头戴式设备中的眼动追踪的一个令人兴奋的用例，而眼动追踪技术会将更多的东西带到桌面上。

眼动追踪多年来一直被视为是 VR 领域的一项遥远的技术，但在全行业公司的发展下在精度，延迟，稳定性和成本方面都取得了可喜的进展。开发人员和研究人员正在越来越多地使用眼动追踪硬件。

像 Tobii 这样的公司正在为制造商和开发商提供眼动跟踪硬件和软件; 高通公司现在在他们的 VRDK 头戴设备中集成了 Tobii 的解决方案。7invensun正在销售用于 Vive 头戴设备的 aGlass 眼动追踪开发套件。Fove 正在销售其内置眼动追踪功能的VR头戴设备开发套件。Oculus 最近首次展示了一款集成了眼动追踪的新原型设备。Magic Leap 已经确认了他们即将开发的头戴设备拥有眼动追踪。据报道，苹果公司也收购了眼动追踪领域的前领导者之一SMI，并申请了多项有关该技术的专利。

有了这种动力，在短短几年内，我们将可以看到眼动追踪成为消费级 VR 头戴式设备的标准部件。这种技术可以大幅度提高VR体验的各种功能。

注视点渲染

我们首先从许多人已经熟悉的部分开始。注视点渲染（Foveated Rendering）旨在降低显示要求苛刻的 VR 场景所需的计算能力。这个名字来自 fovea，它是人类视网膜中心的一个小坑，它密集地包裹着光感受器。它在我们视野的中心为我们提供高分辨率视力; 同时我们的周边视觉在细节和颜色方面实际上很差，并且比看细节更适合看到动作。你可以把它想象成一个只有几百万像素的大型传感器，另一个小型传感器，中间有几亿像素。

你可以看到各种细节的视觉区域实际上比大多数人想象的要小得多，只是你的视角中心几度。视网膜的中央凹与视网膜其他部位之间的分辨力的差异非常大，以至于没有你的视网膜中央凹，你无法确定本页上的文字。你可以很容易地看到这一点：如果你将注意力集中在这个单词上，并尝试阅读下面的两个句子，即使你能看到类似词语的东西，也几乎无法确定这些单词所说的内容。人们高估视力的中心凹区域的原因似乎是因为大脑做了很多无意识的解释和预测来建立我们相信世界的模型。

注视点渲染的目的是通过利用我们视觉的这种怪癖，只在中心凹看到的区域渲染高分辨率的虚拟场景，然后大幅度降低周边视觉中场景的复杂性，因为人眼根本无法注意到这些细节。这样做可以让我们将大部分处理能力集中在对细节贡献最大的地方，同时在其他地方节省处理资源。这可能听起来不是什么大问题，但随着VR头戴式设备视场和显示分辨率的提高，渲染复杂场景所需的计算力以接近指数的速度增长。

眼动追踪需要快速，高精度地知道用户注视的中心位置，以便实现注视点渲染。这种提高分辨率的幻觉可以通过用户完全注意不到的方式完成。

用户自动检测和调整

除了检测眼球运动之外，眼动追踪还可以进行生物标识符识别。这使得眼动追踪成为单一头戴设备中存放多个用户配置文件的绝佳选择——当我戴上头戴设备时，系统可以立即将我识别为独特用户，并调出我的自定义环境，内容库，游戏进度和设置。当朋友戴上头戴设备时，系统可以加载他们的偏好和保存的数据。

眼动追踪也可用于精确测量IPD，即瞳距。知道你的IPD在VR中很重要，因为它需要将镜头和显示器移到舒适和视觉质量最佳的位置。不幸的是，很多人不知道他们的IPD是什么。

通过眼动追踪，可以很容易地即时测量每个用户的IPD，然后让头戴设备的软件帮助用户调整IPD与自身匹配，或者警告用户他们的IPD超出了头戴设备支持的范围。

在更高级的头戴设备中，这个过程可能是不可见的和自动的——可以自动测量IPD，并且头戴设备可以具有电动调节IPD的装置，其可以自动地将镜头移动到正确的位置，而用户不需要知道中间的过程。

变焦显示器

变焦头戴设备原型| 图片由NVIDIA提供

当今VR头戴式设备中使用的光学系统工作得很好，但它们实际上相当简单，不支持人类视觉的重要功能：动态聚焦。这是因为VR头戴式设备的显示屏始终与我们的眼睛距离相同，即使在立体视觉深度不同时也是如此。这导致了一个称为聚散度调节冲突的问题。

变焦显示器可以动态改变其焦距，被提议作为解决这个问题的方法。有许多实现变焦显示器的方法，其中最简单的方法是可以来回移动显示器以改变焦距的光学系统。

实现这种主动变焦显示器需要眼动追踪，因为系统需要精确地知道用户正看场景中的什么位置。通过从用户的每只眼睛追踪虚拟场景中的路径，系统可以找到这些路径相交的点，从而建立用户正在查看的适当焦平面。然后将该信息发送到显示器以相应地进行调整，将焦距设置为匹配从用户的眼睛到虚拟对象的距离。

优秀的变焦显示器不仅可以消除聚散度调节冲突，还可以让用户专注于比头戴设备更接近它们的虚拟物体。

在将变焦显示器放入VR头戴式设备之前，眼动追踪可以用于模拟景深，这可以近似用户眼睛焦平面外的物体的模糊。

注视点显示器

虽然注视点渲染旨在更好地在我们可以清晰地看到的部分视野和我们的低细节周边视觉之间分配渲染能力，但针对特定的像素数量可以做到类似的效果。

不是仅仅改变显示器的某些部分的渲染细节，注视点显示器需要始终保持在用户眼睛的正前方，而不管用户在看哪里。

为了在VR头戴式设备中实现更高的分辨率，注视点显示器打开了一扇大门，并且不会在整个视野范围内尝试以更高的分辨率对像素进行填充，从而强制解决问题。这样做不仅成本高昂，而且会随着像素数量接近视网膜分辨率而遇到具有挑战性的功率限制。相反，注视点显示器会根据眼动追踪数据将更小且像素密度更高的显示器移动到用户眼睛看的地方。这种方法甚至可能比用单个平面显示器实现更大的视野。

像素密集型注视点显示器对比Varjo原型设备中体积更小像素密度更大的显示器

Varjo是一家致力于开发显示系统的公司。他们使用覆盖广阔视野（但不是像素密度高）的典型显示器，然后在其上重叠更多像素密度的微型显示器。这两者的结合意味着用户的周边视觉既有广阔的视野，又有中央凹视野的高分辨率区域。

Varjo最新的原型机目前并未移动较小的显示器（它只是停留在镜头的中心），但该公司已考虑了多种移动显示器的方法，以确保高分辨率区域始终处于凝视的中心位置。

改进社交头像

今天许多社交VR应用程序似乎向用户展示真实的眼动，包括闪烁，扫视和物体焦点，但所有这些应用都是使用动画和编程逻辑伪装的。这种错觉对于使虚拟形象看起来不那么机器人化是有好处的，但是当真正与某人面对面时失去的实际非语言信息j会丢失。

准确的眼球追踪数据可以很容易地应用到VR头像上，以便实际显示用户何时闪烁以及他们在看什么。它还可以打开有意识和无意识的非语言交流，如眨眼，眯眼和瞳孔扩张，甚至可以用来推断一些情绪，如悲伤或惊喜，这可能会反映在化身的脸上。

意图和分析

热图显示场景中用户最常看的部分

眼动追踪对于被动了解玩家意图和焦点也非常有用。考虑一个开发者正在做一个恐怖游戏，玩家在鬼屋中漫步。传统上，开发者可能会花费很长时间来制作脚本序列，当玩家进入特定区域时怪物从壁橱中弹出，但是如果玩家没有直视壁橱，那么他们可能会错过恐慌的情节。只有在用户正朝着正确方向看时，眼动追踪输入才能用于触发事件，以达到最好的惊吓效果。或者它可以用来让怪物的影子出现于他们的视觉周围区域，并且当用户试图直接看它时使影子消失。

除了使用眼动追踪来最大化恐慌外，这种被动输入可以用来帮助玩家更好地控制其虚拟环境。Tobii 是眼动追踪硬件和软件的制造商，它有一个演示，帮助用户在投掷物体时更好的进行瞄准。通过根据用户的注视推断用户想要抛出物体的位置，系统将抛出物体的轨迹改变为完全准确的抛出。虽然下面的剪辑显示了用于演示目的的实际与修正的轨迹，但在实际使用中，这对用户来说是完全不可见的，并且感觉非常自然。

除了这种实时意图理解之外，眼动追踪对分析也非常有用。通过收集有关用户在看什么、看了多久的数据，开发人员可以更深入地了解他们的应用程序的使用情况。例如，眼动数据可以显示用户是否发现了重要的按钮或观看了重要动画，防止他们的注意力被环境中的一些非预期部分所捕获，或者界面元素被忽视等等。

主动输入

眼动追踪对于主动输入也很有用，使用户能够有意识地利用他们的视线来更快更轻松地完成任务。虽然今天许多VR应用程序允许用户通过面向它们并抓取来“拉动”远处的物体，但眼动追踪可以使得这些应用程序更快，更准确，让用户只需简单地观看和抓取即可。使用眼动追踪这项任务实际上可以更加准确，因为我们的眼睛指向远处的物体要比使用我们手中的激光指示器好得多，因为我们手部的自然摇晃被距离放大了。

与抓取物体类似，眼动追踪输入可能有助于使VR快速高效，让用户按下按钮并执行其他动作的速度比移动身体或双手的速度快得多。您可以打赌，当VR作为一个真正高效的通用计算平台时，眼动追踪投入将扮演重要角色。

医疗和研究

然后在医疗保健和研究领域有广泛的眼动追踪用例。SyncThink 等公司正在使用配备眼动追踪功能的头戴设备来检测脑震荡，据称可提高现场诊断的效率。

研究人员也可以使用眼动追踪技术进行数据收集和输入，比如看看凝视在专业钢琴演奏中扮演的角色，更好地理解孤独症对社交眼神接触的影响，或者为更多人带来便利。

鉴于潜在改进的范围，很明显眼动追踪将成为 VR 行业的改变者。在不久的将来，内置眼动追踪功能可能首先成为高级头戴式设备的一项功能，然后最终成为VR（甚至最终AR）的常态。

via roadtovr