〔Part 2〕Leap Motion:如何为VR-AR设计手部“快捷键”

2018-06-10 01:06:29来源:YiVian


映维网,国际权威虚拟现实(VR)信息平台,提供最快、最全、最有价值VR信息资讯!

文章相关引用及参考:roadtovr

来自Leap Motion的首席VR交互工程师和首席VR设计师Barrett Fox和Martin Schubert

映维网 2018年06月09日)如果新计算技术要实现完整的潜能,它们需要全新的用户界面。虚拟空间中最重要的交互都是基于直接的物理操作,比如说抓和捏。但从手臂平视显示器到数字可穿戴设备,再到包含按钮、滑块,甚至3D追踪球和颜色选择器等可部署的小部件,Leap Motion的团队同时探索了一系列令人感到兴奋的的界面范例。

Barrett Fox和Martin Schubert分别是Leap Motion的首席VR交互工程师和首席VR设计师。两人日前分享了一篇关于如何为VR和AR设计单手快捷方式的文章,以下是映维网的具体整理:

无我VR 聚合新闻

在上一次,我们详细介绍了Leap Motion的单手快捷系统。经过一定的实验后,我们在文章中探讨了手心朝上,然后手指进行捏合以启动快捷方式的操作。上一篇文章只是第一部分,今天我们很高兴向大家介绍相关设计探索的第二部分,而我们同时在Leap Motion Gallery中提供了可下载的演示

延伸阅读Leap Motion:如何为VR和AR设计单手“快捷键”

我们发现快捷方式系统用起来十分舒适,可靠和迅速。由于不需要用户看着操作,系统的操作同时令人感觉自然具体和空间感十足。现在是时候在真实世界的设定下进行设计了。当我们尝试用双手进行操作时,具体的效果将如何呢?

我们讨论了下面几种潜在的用例:

  1. 直接的抽象命令:在这个场景下,系统可以直接用来触发抽象的命令。例如,在一个绘画应用程序中,每一只手都可以启动快捷方式系统,左边撤销,右边恢复,向前放大,向后缩小。

  2. 直接的情景命令:试设想,一只手可以对另一只手所握持的对象应用操作。例如,用左手拾起一个对象,然后用右手启用快捷方式系统,向前进行复制,向后进行删除,或者向左/向右以改变其材质。

  3. 工具调整:系统可以同时用来调整各种参数。例如,在相同的绘画应用中,你的优势手可以作出捏合姿势并在空间中绘画。相同的手可以启用快捷方式系统,然后向左/右平移以增加/减少笔刷大小。

  4. 模式切换:最后,系统可以用来切换不同的模式或工具。再次回到相同的绘图应用,每只手都可以通过快捷系统切换直接操作,画笔工具,橡皮擦工具等等。另外,通过利用每只手进行独立的工具切换,我们可以快速组装出有趣的工具组合。

在上述选项中,我们认为模式切换最能全面地测试系统。通过设计一系列需要不同手部动作的模式或能力,我们可以验证快捷键系统不会造成妨碍,而且可以进行快速方便的访问。

无我VR 聚合新闻

1. 模式切换和捏合交互

在思考可以进行切换的可能性时,我们不断想起基于捏合的交互。正如上一篇博文所讨论的一样,“捏”是一个非常强大的裸手交互,原因如下:

  1. 这是一种大多数人都非常熟悉的手势,而且操作起来的模糊性很低,所以新用户可以轻松地成功执行操作。
  2. 这是一项省力的动作,只需要拇指和食指的移动。因此,它适用于高频交互。
  3. 对于食指与拇指相交时所出现的触觉反馈,这清晰定义了操作是否取得了成功。

但由于错误触发时一种常见的现象,这种操作同样存在缺点。出于这个原因,提供一个快速简便的系统进行启用,禁用和切换捏合功能,这将非常具有价值。所以我们设计了一组捏力来测试我们的快捷系统。

2. 捏合操作

我们设计了三种捏合操作,剩下一个快捷方向作为禁用所有捏合操作,并使用空闲手进行常规直接操作的选项。每个捏合操作都可以鼓励不同类型的手部运动,以测试快捷系统是否仍然按预期运行。我们希望创造出单独使用起来有趣,但也可以进行组合的捏合操作,从而利用每只手独立切换模式的能力。

2.1 飞机手

对于我们的第一个方案,我们利用捏合手指来实施一个非常普遍的动作:投掷/扔。我们从物理世界取得了灵感,并发现扔纸飞机是一种非常具有表现力的操作,其基本运动几乎完全一样。捏合并捏住一段时间以生成全新的纸飞机,然后作出投掷动作并释放,通过这样的操作,我们可以在释放手指之前计算捏合手指在一定数量的帧上的平均速度,并将其作为发射速度馈送到纸飞机。

无我VR 聚合新闻

对于这一种操作,结合快捷方式系统时出现了一定的冲突。在捏合纸飞机时,一种常见的情况是手掌朝上并稍微向内。这就陷入了介于“手背对准自己”和“手心对准自己”的灰色区域。为避免误报,我们稍微调整了阈值,直到系统不会意外触发。

无我VR 聚合新闻

为了重新创造纸飞机的空气动力学,我们使用了两种不同的力。第一个附加力相对于纸飞机向上,并取决于纸飞机当前的速度大小。这意味着更快的投掷将产生更强的拉升力。

第二个附加力则不太现实,但有助于实现更为无缝的投掷动作。它利用了纸飞机的当前速度,然后增加扭矩来令其前进方向(或者说机头)与该速度保持一致。这意味着向侧方投掷的纸飞机将修正其前进方向,从而匹配其移动方向。

在上述空气动力学的作用下,即使投掷角度和方向出现微小变化也会导致各种各样的飞行轨迹。飞机会以令人惊讶的方式沿曲线和弧形运动,鼓励用户尝试高手投掷,低手投掷,以及侧角投掷。

无我VR 聚合新闻

我们在测试中发现,用户在投掷过程中常常旋转手掌并形成一个手势,这会无意中触发快捷系统。为了解决这个问题,我们简单禁用了在捏合时打开快捷系统的能力。

除了这些针对手掌方向冲突的问题修复之外,为了尽量减少意外的捏合,我们也想测试一些其他解决方案。每当用户启用一个捏合操作,我们就把一个对象放在用户的捏合点中。这样做的目的是向用户发出信号,向其说明捏合操作“一直都是开着的”。当结合发光的指尖,以及由捏力驱动的音频反馈时,这似乎成功地减少了意外捏合的可能性。

无我VR 聚合新闻

我们还在飞机生成时为其添加了一个简短的缩放动画。如果用户在飞机完全放大之前松下捏合手指,飞机就会缩小并消失。这意味着短暂的无意识捏合不会生成纸飞机,从而进一步减少了意外捏合的问题。

2.2 弹弓手

对于我们的第二个捏合操作,我们探讨了先捏合,往后拉,然后释放的过程。这个动作对于《愤怒的小鸟》而言是核心机制,而且Valve同样将其整合至《The Lab:Slingshot》中。

无我VR 聚合新闻

虚拟弹弓具有很强的物理感。往后拉弹弓,并且听到相应的吱吱声可以为你提供令人满足的逼真储能感。就我们的目的而言,由于我们可以在空间的任何位置进行捏合并作出往后拉的动作,所以我们决定采用比弹弓稍微更轻便的对象:一个小巧的可伸缩弓。

无我VR 聚合新闻

捏合将生成弓,然后我们把弓弦附加在用户的捏合手指上。沿最初捏合位置向后拉动将生成弓箭。向后拉动距离越长,释放时的发射力就越足。我们再次发现,当用户在使用弓时,他们常常将手旋转成特定的姿势,从而意外地触发快捷系统。对此,我们再次简单地禁用了打开快捷系统的能力。

为了最大限度减少意外捏合动作所生成的弓,我们在用户捏合并生成弓箭之前应用了一个一定的延迟。但与基于时间的飞机生成动画不同,我们这一次定义了距离最初捏合点的最小距离。一旦达到这个距离,系统将生成一支新的弓箭。

无我VR 聚合新闻

2.3 时间手

对于最后一个捏合操作,我们探讨了捏合,然后像拨动调整钟的时针和分针那样的旋转动作。我们的想法是,捏合以生成一个时钟,然后旋转捏合手指,就像是调整时针或分针那样。但在测试中,我们发现这种捏合旋转只能支持小范围的转动,因为转动过大容易造成不适。

无我VR 聚合新闻

因为如果时钟调整的范围很小,其价值将很低,所以我们决定将其换成触发器。对于这种捏合操作,我们在捏合点位置用一个时钟替换了最初的强力蛋。在正常的速度下,时钟的摆针移动速度很快,较长的手每秒完成一次完整的旋转。在挤压时钟时,时钟时间减慢为正常速度的三分之一,时钟变色,而较长的一手需要一分钟才能完成一次完整的旋转。再次挤压时钟可将时间恢复到正常速度。

无我VR 聚合新闻

3. 组合与匹配

由于每只手都可以独立地切换模式,快速组合和匹配双手可以创造出有趣的组合。

3.1 双手纸飞机

无我VR 聚合新闻

通过在双手启用纸飞机捏合操作,你可以快速创建新飞机,并以有趣的重叠弧线和曲线进行投掷。

3.2自由手和时间手

无我VR 聚合新闻

你可以用一只手放慢时间,然后用另一只自由手轻轻一拨或抓住纸飞机。

3.3 弹弓手和时间手

无我VR 聚合新闻

用一只手放慢时间和控制飞机,另一只手则用弓箭击打飞机。

3.4 双重时间手

无我VR 聚合新闻

两只时间手可允许你叠加效果,将其时间放慢成正常速度的九分之一。

3.5 双重弹弓手

无我VR 聚合新闻

双弹弓手很有趣,而我们认为我们可以做得更好一点。双手拉弓射箭是今天VR游戏的一大亮点,可以充分利用6自由度输入的物理运动。所以在启用双弹弓手时,捏合左手可以生成一把较大的弓,然后捏合右手则可以生成喷射蓝色火焰的弓箭。

然后用户可以调整弓箭瞄点,从而更精确地射出弓箭。

无我VR 聚合新闻

如果要启动双重弹弓手,我们一开始要求用户的右手需要在靠近弓弦的位置进行捏合,然后向后拉动并释放。但我们发现如果允许用户在任意位置进行捏合,这将能减轻手臂疲劳度。这同时可以支持用户高度射出蓝焰火箭,只需快速闭合食指与拇指即可。有趣的是,有用户报告说,这个动作比点击鼠标或按下机械按钮的速度要更快。

4. UX调整

在用户测试快捷系统时,我们很快就注意到许多用户在一开始就遇到了几个问题。首先,如果用户在穿戴头显时系统和所有的捏合操作都已经启用,在移动双手时所出现的各种音效和动画将会令用户难以承受。

为了帮助用户慢慢适应系统,我们增加了一定的介绍环节,让用户把双手放在一个圆台上,这将会为用户提供“强力球”。然后,系统将从自由手模式开始,用户可以翻转双手并捏合强力球。在一开始,用户只能切换至飞机手。在成功切换和使用飞机手后,系统将为用户提供弹弓手,然后则是时间手。

无我VR 聚合新闻

我们对另一个问题实际早有预计:用户将尝试用一只手轻拨,推动或抓住另一只手上的强力球。尽管我们尝试了各种方式来禁止另一只手与强力球的交互,但许多用户仍然会尝试这样做。

我们决定不再与这种行为作斗争,而是接受这种行为,并利用这一点来增加新功能。我们增加了利用另一只手来完全禁用强力球的功能。这可以关闭整个快捷系统,以及所有的捏合操作,从而支持用户自由地移动双手。再次点击强力球时将重新激活系统,并重置为上次启用的模式。

无我VR 聚合新闻

5. 整合在一起

在实践中,这三种捏合操作和彼此之间的切换都能无缝地整合在一起。在一个沙箱体验中,我们投掷纸飞机,然后用弓箭为它们增加色彩。当弓箭击中白色的纸飞机时,它们将变成带尾巴的多彩纸飞机。

无我VR 聚合新闻

用火焰弓箭击中白色纸飞机,令其着火,然后摧毁纸飞机。

无我VR 聚合新闻

但如果是用火焰弓箭击中已经变形的多彩纸飞机,它们将出现特定的火焰颜色,并且在短时间内发出耀眼的光芒。

无我VR 聚合新闻

如果你拥有Leap Motion控制器,你可以下载这个可执行文件,并通过HTC ViveOculus Rift进行尝试。我们非常有兴趣听听你在实践中是如何找到捷径系统,尤其是经过数分钟的熟悉和使用后。

文章《〔Part 2〕Leap Motion:如何为VR-AR设计手部“快捷键”》首发于 映维网

新闻媒体更多>>
  • VR网
  • Yivian
  • 青亭网
  • 麦逗VR
  • VR陀螺
  • 魔多VR