有了隔空手势识别,移动AR也能变得更好玩?

2019-11-14 04:44:27来源:青亭网


《精灵宝可梦Go》、《我的世界:地球》等LBSAR游戏看起来很好玩,尤其是将游戏中的小精灵或者沙盒方块以AR的形式叠加在真实环境中的玩法足够有趣。不过并不是每一款LBSAR游戏都能持续抓住玩家的胃口,玩家们渴望更多创新,更多有趣的交互方式,这也是为什么Niantic新推出的《哈利波特:巫师联盟》反响远低于《精灵宝可梦Go》的原因之一。

无我VR 聚合新闻

当然,就目前技术来讲,即使是在游戏中加入更多手势战斗玩法、加入建造功能,它们也只能局限于手机屏幕这个界面中,某种程度上反而会破坏AR的沉浸感。打个比方,目前3D渲染技术已经足够好,叠加在真实环境中的3DAR图形可以做到相当逼真的效果,这时候如果还能用手直接拿起它,是不是会比在屏幕上碰它感觉更像真的?

布朗大学计算机科学的助理教授JeffHuang表示:互动手势并不是一种令人满意的交互方式,因为在真实环境中,不管是扭门把手还是捡东西,用手去触碰是最直接和自然的交互方式,因此我们想到或许在移动AR应用中加入手势识别会比在手机屏幕上滑动效果更好。

无我VR 聚合新闻

为了探索这个问题的答案,Huang领导布朗大学人机接口小组的12名科研人员研发了一种移动AR手势交互方案:Portal-ble,这是一个可以让手机用户用手去触碰AR物体的方案,将智能手机屏幕变得仿佛是AR世界的入口,让你可以用手进行堆积木、摆放和旋转家具,甚至在空中绘画等操作。

无我VR 聚合新闻

其硬件方案包含一个LeapMotion手势识别模块、一个Intel计算模块(电脑棒)、一台智能手机、一个5V4A移动电源以及便携包和安装架。

而其原理并不难,其实就是用户一只手拿着手机来查看AR,而连接在手机上的LeapMotion红外光传感器会追踪另一只手,从而实现手势与AR交互。其优势在于不需要AR头显、追踪手套、摇杆、AR标记,用手和手机就能进行交互。

无我VR 聚合新闻

不过,将物理原理应用在手势交互上并不容易,有时候用户容易将手放错位置,甚至直接将手指插入AR物体中。为了达到最自然、逼真的体验感,科研人员尝试从交互感知(手触碰AR物体的自然感)、手势操作(成功抓取和旋转AR物体)、行为理解(适应将智能手机作为“窗口”来看AR这件事)这三方面来优化Portal-ble的交互和界面。

他们开发了一系列任务来测试和了解用户的感知和行为规律,接着在方案中加入感知反馈和调节适应机制。Huang表示:Portal-ble的交互体验感有点像是在Photoshop中画直线,尽管你很难画出完美的直线,但是程序会通过自动平滑让你画出完美的直线,这也是我们希望在Portal-ble中实现的效果。

除了调节适应手势操作外,布朗大学的科研人员还加入了感知反馈机制,比如用点亮AR物体、手机振动等方式来提示手势的交互。

无我VR 聚合新闻

接下来,就一起来看看布朗大学科研人员的整个实验过程吧。

为了解Portal-ble方案的可行度,科研人员设计了一些体验原型,并记录了体验者对一些问题的反馈,比如:拾取远处物体的时候是否有困难,能否准确、舒适地与移动中的物体交互等,这些问题如果没有得到实际测试,是很难想象出答案。

每位科研人员被要求设计内容操控和内容创作两种任务,前者指的是:选择、转化、直接控制,比如扔飞镖、玩保龄球、堆方块、搬东西等。而后者指的是一系列自由的手势,包括在空中画方块、画直线、写名字等。此外,每位科研人员需要分别招募两名参与者。

在全部24名(12x2)参与者完成实验后,科研人员发现了三类问题:感知问题、操作问题和行为问题。

比如,其中有一多半人无法理解自己的手与AR物体相对的空间位置。这主要体现在两个方面:1,难以估计自己与AR物体之间的距离,甚至够不到远处的物体;2,不确定手该伸到多远能碰到AR物体,因此在画画的时候笔触容易接不上。

无我VR 聚合新闻

而操作上的问题则包括:捡不起东西、AR物体不小心掉下去,相当影响体验感。另外,手势跟踪的噪波会影响手势识别的准确性,而且自然的抓取手势效果并不太好。产生这些问题的原因可能有三个:手指不小心离开可识别区域、遮挡问题、周围环境光影响红外光识别。

行为问题方面,指的是参与者缺少对徒手直接交互的操作方式的心智模型。为了熟悉AR物体的深度,一些参与者会通过移动智能手机,一只手固定手机,一只手移动,或者同时配合手机和手的方式来测量。但是这些动作通常会造成参与者的手移动到无法追踪的区域,让任务更加难以完成。

此外,参与者们也难以区分交互过程中的状态,有时候已经抓到了AR物体,却会再一次做出抓取手势,有的人甚至不确定手中到底有没有抓到东西。

为了优化这些问题,科研人员在Portal-ble中加入了三种适应机制:1,用线索去提示空间距离之间的关系;2,提示物体在附近;3,用体感反馈来表现默认、悬停和抓取状态。

无我VR 聚合新闻

他们使用的线索包括视觉和声音两种,视觉指的是手在AR物体附近的时候,物体周围会显示绿色的轮廓线,抓取到物体之后,轮廓会变成蓝色,以此来显示交互的状态。而声音则指的是,你的手在与AR物体不同距离时,Portal-ble会发出不同音调的声音。科研人员还是用了一种光线投影的方法,避免了多个物体同时发出声音的状况。

无我VR 聚合新闻

体感反馈方面,科研人员采用了一种延迟在25ms内的体感反馈方案,并将它用于两种不同的情况:展示交互状态的改变和虚拟物体之间的碰撞。这种体感反馈通过智能手机的震动来实现,它会提醒你的另一只手是否已经碰到AR物体,或者两个物体之间进入相撞范围(比如将AR杯子放到桌面上会产生震动)。

无我VR 聚合新闻

为了降低用户完成任务的难度,科研人员还加入了适应机制,重新设计了碰撞识别结构,提高了系统的容错率,让你可以自然、快速完成任务。

而为了让用户适应与AR的交互,Portal-ble会通过测试了解用户的臂长,并且在用户手掌到达追踪极限时用视觉反馈来提示。

无我VR 聚合新闻

无我VR 聚合新闻

完成优化后,受调查者在随后的研究中反馈,Portal-ble的交互体验感和感官反馈大幅降低了任务的难度,并且加快和提高了交互的准确性,用户体验感也比之前更好。

研发人员希望Portal-ble能够成为艺术家、设计师、游戏开发者们用于测试AR的工具。Huang表示:AR将成为一种优秀的新交互模式,我们希望通过这种便携式手势交互方案,让用户不需要厚重的AR头显,就能随时随地体验优质的AR,同时也希望为他们提供一种与AR世界交互的自然方式。

不过目前Portal-ble还是一个比较复杂的方案,对于普通手机用户来讲使用起来比较复杂。未来,科研人员计划增加Portal-ble系统中支持交互的AR物体,优化交互,并开发全新的任务和内容,甚至希望简化整个方案,将它集成在手机中。

其实,谷歌Pixel4、华为P30系列手机已经开始支持隔空手势功能,未来手势识别也有望成为智能手机的一种趋势。因此从Portal-ble实验中,我们也可以看到未来AR游戏、应用与手势识别结合的潜力,或许也能为《哈利波特:巫师联盟》中的Portal功能带来更有趣的玩法。本文系青亭网翻译自:布朗大学

新闻媒体更多>>
  • VR网
  • Yivian
  • 青亭网
  • 麦逗VR
  • VR陀螺
  • 魔多VR