近年来,将VR与眼球追踪技术结合逐渐成为一种趋势,眼球追踪技术不仅可以作为VR的一种交互/输入方式,也可以与注视点渲染相结合,从而降低头显的功耗,提高渲染效率。或者,眼球追踪也可以用于优化自适应游戏AI、游戏新玩法、预测用户行为等。
除此之外眼球追踪还有其他用途吗?近期,在微软向ACM用户界面软件与技术研讨会提交的三篇论文中,就曾有一篇展示了眼球追踪在多种场景中偷换余光画面的能力,为该技术指明了新的应用方向。(上一篇参考:《
1,铁匠铺——展现被动体感:在这个应用中,Mise-Unseen会根据用户注视点来推断接下来想要选择的武器,并且当桌子上这个武器处于注视点外围时,将它移动到真实环境中对应道具的位置,这样即使你只有一个体感道具,也可以让用户在VR中不管选哪个武器都能抓到它。
2,货厢——展现自由行走:这个应用的作用与铁匠铺相似,但它不是将武器与道具重叠,而是将两个轨迹中的一个与真实环境重叠。当然,靠空间压缩技术就已经可以让VR空间适应物理空间,甚至改变注视点以外的盲区,而且预测用户行走方向也不是新的概念。而这个应用的不同之处在于,其展示了眼球追踪可以让自由行走的体验感更自然,甚至减少对于VR画面的利用率。除了眼球追踪外,电话铃等干扰也是必须要的。
3,城市飞行穿梭——展现过场动画、360°视频、虚拟移动:这个应用展现了从高楼飞下来的过场动画,与通常用来遮挡余光视觉的黑色掩码不同,这里通过将余光视觉刷新率降低至1Hz来减少余光看到的动作,并且将注视点和余光的渲染画面融合。而这一效果是通过插帧、注视点边缘羽化加上动态模糊来实现的。
效果类似于注视点渲染,区别在于它并没有降低像素分辨率而是降低了时间分辨率,并且采用插帧而不是插像素的原理。
4,拼图——展现自适应难度:这个应用旨在帮助用户完成任务,通过使用视觉干扰,加上余光视觉变化,将正确的拼图移动到用户眼前,同时确保用户完成任务的满足感不会减少。
5,画廊——展现自适应内容:这个应用会通过眼球追踪信息来猜测用户的喜好,比如你第一眼将目光停留在现代艺术品上,那么Mise-Unseen便会悄悄将余光部分的印象派艺术品变成现代风格。
6,谜题破译——验证用户真实选择/情节进度:这个应用旨在防止用户通过反复试错来作弊,当Mise-Unseen通过注视点识别推断出你没有审题而是直接输入答案的时候,便会在题目位于你余光的时候悄悄改变。这可以用于冒险游戏中,促进你去理解故事进度和叙事,也可以用于培训或教育。
7,汽车爆炸——展现对开发成本的优化:注视点渲染可以节省计算成本,而这个应用甚至可以降低开发成本,好让开发者将更多资源用于优化其他更重要的内容。为了避免用户注意到低保真渲染的汽车爆炸效果,Mise-Unseen会通过叙事等方法来引导用户注意力。
为了验证Mise-Unseen系统的效果,微软科研人员找来15个人进行体验,其中有12人曾体验过VR,5人曾体验过眼球追踪,还有8人曾观看过魔术。此外,实验中使用的设备包括:HTCVivePro头显、基站、追踪器以及PupilLabs的眼球追踪模块(刷新率200Hz,延时4.5ms)。
实验结果发现,注视点数据确实有助于掩盖视场角内画面的改变,当画面涉及任务和移动的干扰时,识别率(正确识别画面改变的比例)会大幅降低,总之将注视点数据与越复杂的掩码技术结合,变化越难以识别。
另外,还调查了参与者对于每个应用的趣味性(按照利开特式量表从1到7打分)的看法,认为其中拼图、谜题破译、画廊、铁匠铺和城市飞行比较有趣。
总之,Mise-Unseen启发了眼球追踪的更多场景。当然除了眼球追踪,Mise-Unseen也可以结合其他数据来分析用户注意力,比如视频处理过程中提供的显著图、脑机接口信号(EEG等)等。也可以增强视觉掩码技术,比如在技术层面上,可通过诱导用户眨眼来触发不易察觉的快速变化。本文系青亭网翻译自: