前不久,青亭网曾报道Oculus在招聘大量VR/AR相关工程师,其中包括为Reality Lab负责VR/AR眼球追踪技术开发的电子工程师,暗示下一代Oculus产品可能加入眼球追踪功能。
那么为什么要在VR头显中加入眼球追踪功能呢?眼球追踪将支撑注视点渲染技术,还能将注视点变成一种自然的输入方式,甚至用于生物识别、行为研究或情绪感知。
而情绪感知、心理活动信息对于心理分析非常重要,心理学家、分析师可根据这些信息来识别和治疗病人的焦虑心理、测量人对某样东西的恐惧、或者在培训场景中还能用于评估受训者面对应急情况的适应程度,在营销场景中可用于分析消费者对所展示产品的感兴趣程度。
据了解,眼球追踪和脑电图(EEG)等技术有望成为未来脑机接口的核心技术之一,也被视作是未来VR/AR头显的标配。不过市面上配备眼球追踪传感器的VR头显并不多,像HTC Vive Pro Eye、Varjo VR-1等少数VR头显的定位主要在B端,几乎没有C端VR头显内置眼球追踪功能,内置EEG的VR几乎没有。
这是由于眼球追踪、皮电识别、心跳测量或EEG/EMG传感器本身体积并不小,不管是集成还是外接,都将大大增加VR的整体体积,同时由于传感器成本较高,对于消费者而言也是难以接受的。
于是,Amir Bozorgzadeh决定采用软件解决方案,基于常规VR头显(例如Oculus Go)来实现低成本生物数据分析,结合数学计算将生物数据转化成用户的心理活动(又称心理变数,psychographics)。
关于Virtuleap的背后
Amir Bozorgzadeh
据悉,Amir在市场调研和移动游戏领域有多年经验,在2015年时在一个加速器项目中他首次接触到VR技术,后来他决定利用自己在市场调研的背景,将VR变成一种全新的调研工具。
Amir表示:目前企业所使用的VR调研方案并没有完全发挥VR的潜力,只是将谷歌分析(Google Analytics)所使用的分析模式复制在VR中,因此创办了自己的公司Virtuleap,旨在通过VR所识别的细微数据来优化市场和用户调研体验,同时为VR开发者提供更多可参考的生物信息。
Amir和他的Virtuleap欲为主流AR/VR头显打造一款读取生物数据的底层技术,可通过VR头显自带传感器读取生物数据。拿Oculus Go举例,尽管它只是一款售价199美元、配备3DoF手柄的中低端VR头显,但它内置的传感器能够识别用户身上至少16种不同类型的信息,包括:
头显部分
- 1,角加速度;
- 2,加速度信息;
- 3,角速度
- 4,旋转信息;
- 5,摄像头旋转;
- 6,节点姿势位置;
- 7,节点速度;
- 8,节点定向;
- 9,视线;
手柄部分
- 10,旋转信息;
- 11,本地旋转;;
- 12,本地速度;
- 13,本地加速度;
- 14,本地角加速度;
- 15,本地角速度;
- 16,摄像头控制器旋转。
Amir认为,Oculus Go能识别的这些信息可用于追踪用户的神经系统活动,并结合神经科学研究,有望通过分析不易察觉的微小手势和动作来推测出用户的情绪状态。也就是说,在Virtuleap技术加持下,用一台Oculus Go就能推测用户在VR中的焦虑、无聊、被吸引等情绪将成为可能。
那么Virtuleap技术的原理是什么呢?据了解,它其实是一个通过AR/VR头显自带传感器来提供情绪识别和分析的框架,这个框架所使用的的算法将通过EEG和眼球追踪数据来训练和验证。
这对开发者和企业来讲是个好消息,开发者将能够通过Oculus Go收集的情绪信息构建用户脑活动档案,了解用户的心理活动,以此来优化VR内容体验;而利用Oculus Go来培训员工的企业则能够获取受训员工的更多信息,从更多层面分析他们面对压力和解决问题的能力。
关于项目进展
目前,Virtuleap的技术还处于初期阶段,其所提出的框架还是个未验证的理论,不过他们目前已经掌握了提取Oculus Go传感器数据的方法,以及比较有希望成功的数学模型,并且即将从科研阶段进展到开发阶段。
此外,Virtuleap目前已经能够识别到大脑受刺激的状态,不过还不能了解受刺激的原因(是因为恐惧、开心、还是压力大)。
为了收集更多训练数据,Virtuleap正在与体育直播、电商、安全培训等领域的公司合作,将现有VR内容与其技术结合,在神经学的帮助下进一步了解人脑受不同刺激的所做出的各种反应。
《Attention Lab》
同时他们也开发了一款内部测试应用:《Attention Lab》,作用是通过小游戏来识别用户的细微反应,其中一个小游戏是你将对抗一艘攻击你的海盗船,在准确的时间点投放炸弹,游戏将分析你适应压力的能力,以及处理压力的表现等。在游戏结束后,会提供对你性格的分析和反馈,你可以将这些信息与朋友分享。
《Attention Lab》目前仅供内部使用,不过计划在未来向公众推出。Virtuleap还计划在2019年秋季推出beta版API、报告和分数版系统,让更多企业在VR中测试其情绪分析技术(据悉价格也不会很高)。
对未来的展望
在未来,Virtuleap将支持大部分主流消费级AR/VR头显,不管是Oculus Go,还是支持内置眼球追踪模块的VR头显。比如,如果用在Vive Pro Eye这种自带眼球追踪的VR头显上,Virtuleap将同时结合眼球追踪数据和其他传感器识别到的微小动作信息。此外,还计划为不同的VR场景定制特殊的分析算法,以此来进一步优化情绪感知效果。
当谈及完成整个Virtuleap框架所需的时间,Amir表示这个过程可能需要3年,距离该技术真正面世还有很长一段时间。
不过对于AR/VR的未来,Amir表示出不小的信心。他建议大家进入VR行业不要以赚钱为首要目标,同时也不能时刻求稳,而是全心全意投入到技术开发和创新上。此外Amir也不看好将资金主要投资在VR/AR游戏上,建议更多去也去投资B端AR/VR产品、解决方案和行业标准、WebVR的开发,表示:这些领域才能推动VR长期发展,游戏只是一小部分。本文系青亭网翻译自:The Ghos Howls