几年前，青亭网曾报道布朗大学人机接口小组研发的一种低成本移动端AR手势交互方案：Portal-ble。据悉，这是一个可以让手机用户用手去触碰AR物体的方案，将智能手机屏幕变得仿佛是AR世界的入口，让你可以用手进行堆积木、摆放和旋转家具，甚至在空中绘画等操作。
近期，为了推动AR手势交互生态发展，Portal-ble的研发团队决定开源其移动端AR手势交互资源库，其中包含多种用手势与AR虚拟物体之间的交互示例，可用于开发基于移动设备的AR手势交互应用。
移动端AR手势重要性
目前，AR技术应用最广泛的场景依然是手机、平板电脑等主流移动设备，相比于AR眼镜，智能手机的门槛更低，而且几乎人手一部。这也是为什么移动端拥有发展最快的AR内容生态。
尽管如此，相比于几年前火遍全球的《精灵宝可梦Go》，人们渴望更多样的玩法。而且，目前移动端AR还面临续航、散热、FOV等问题。随着技术发展，AR应用的变化应该不止有自然遮挡等视觉效果提升，还应该结合更多的玩法，比如已经可以在手机上实现的手势交互。
技术方面，谷歌ProjectTango和苹果的LiDAR传感器，进一步提升了智能手机在3D测距、环境识别、手势识别等场景的应用效果。
因此，为了推动移动端AR手势交互发展，布朗大学构建了一个手势交互资源库，为AR开发者们展示了用手势与AR物体交互的各种形式。
布朗大学的学术研究员兼计算机科学教授JeffHuang表示：AR企业面向企业级市场，是为了逃离困难的消费级AR市场。他认为，某家中国厂商将在2024年发布无线AR眼镜，其门槛会低于其他大型科技公司开发的AR产品。
Huang和他的团队认为，基于手机的移动端AR将无处不在，而利用Portal-ble技术，开发者可以更好的迎接这样的未来。该资源库的特点是，可在手机上运行，未来还可以兼容LeapMotion手势模块，以提升手势交互的准确性。
AR面临的挑战
借助AR，用户可以使用他们的身体部位与增强空间中的对象进行交互。这与元宇宙形成了鲜明的对比，在元宇宙中，整个体验都发生在我们所知道的物理世界之外的空间中。也许AR体验揭示了世界融合的必要性——从规范转变——但合并技术并将设备组合在一起以实现体验通常是有问题的。
TheMill创意技术全球总监AleissiaLaidacker在福布斯的一篇文章中写道，由于成本问题，人们要充分挖掘AR的潜力还有很长的路要走。据Gartner数据显示，75%资本和设备密集型行业愿意采用AR技术，用于降低一线工人作业的成本、提升工作效率。
Huang似乎认为消费者AR的时代比我们想象的要近，并指出2025年至2026年将是消费者AR在日常使用中令人印象深刻的一年。然而，他指出，我们要到2029年才能开始在任何地方看到AR。他列举了技术进步的问题以及构建和调整设备以实现整体无缝体验的需求，这是在AR成为现实之前需要跨越的障碍的一部分。
技术优势
Portal-ble，字面意思有便携、传送门的意思，其特点就是兼容移动设备，使用门槛低、AR交互的沉浸感好。该开源库基于Unity开发，兼容安卓手机系统。其扩展版本支持LeapMotion手势识别模块，可以在iPhone和安卓上运行。此外，SnapSpectaclesAR眼镜版本也在beta测试阶段。
Portal-bleAR可以将任何安卓手机变成一个AR门户，让用户可以超越现实世界，用手移动虚拟物体。利用该资源库，开发者可以执行多种操作，例如绘制、操纵和投掷对象。Portal-ble提供的功能与AR领域目前流行的功能之间的区别在于，Portal-ble支持与对象的直接交互，而不是通常的空中手势。
科研人员表示：Portal-ble市面上纯手机AR交互方案中最好的，其主要优势在于它使开发人员能够利用Portal-ble的框架并将其包含在他们的游戏和应用程序中。Huang的目标是让AR无处不在，因为他知道其他人正在为其他设备构建，这就是为什么用于手机的AI一直是该公司相当关注的焦点。
在一段demo中，科研人员演示了一种通过手势来抓AR小精灵的游戏：《PokemonCatchAR》。这是一个SnapchatAR滤镜，不仅可以在Spectacles上运行，也兼容iOS和安卓手机。在游戏中你可以用手来旋转精灵球，也可以用手扔球。
科研人员表示，在手机上运行Portal-ble可实现完整的手与物体交互，而如果加上深度传感器，手势交互的准确性可提升至3毫米。
据了解，Portal-ble开源库包含手势交互示例应用，以及构建手势交互Unity应用的文档。细节方面，该方案的手势识别基于MediaPipe机器学习框架，在开源后允许开发人员使用其代码，开发AR手势应用。
科研人员还设计了一个3D打印的支架，可将LeapMotion固定在手机摄像头模块下方。不过，运行LeapMotion还需要使用Intel计算模块（电脑棒），来提供额外的算力。
理论上，还可以搭配智能手表使用，结合这种穿戴式显示屏，可进一步提升3DAR涂鸦的效果，在手机屏幕之外也可以继续交互，目的是解决手机FOV有限的问题。
值得注意的是，Portal-ble项目由美国国家科学基金会、皮克斯资助。参考：
