还记得去年uSens推出的那款支持手部追踪的3D摄像头模组吗？如今，uSens已经将这项功能同步在了智能手机的摄像头上。

昨日，在世界增强现实博览会(Augmented World Expo)上，uSens推出了uSensAR Hand Tracking SDK的测试版本。该版本将手部追踪技术和3D动作识别技术应用在了AR和VR的移动应用中。借助智能手机的RGB摄像头和计算机视觉深度学习技术，uSensAR Hand Tracking可以追踪到全手的骨骼动态，而不仅仅是手的指尖。

一直以来，AR技术普遍应用在智能手机领域。因此，任何有关手机界面的创新对移动AR来说都是一个重大的发展。如苹果和谷歌就曾借助ARKit和ARCore技术，使智能手机实现了水平面和垂直面上的无标记追踪、图像识别，甚至多用户体验等功能。但和HoloLens和Meta 2等AR头显不同，用户与AR内容的交互还仅仅局限于触摸屏界面。

uSens的联合创始人兼CEO何安莉在一份声明中表示，uSens很自豪能够将AR推向下一个前沿。她说：“这项技术可以为智能手机用户提供更具吸引力和更富娱乐性的体验，它让操作更加直观——只需用双手和手指在空中滑动即可。”

何安莉进一步表示：“这项技术为开发者带来了全新的可能性，使他们能够为主流用户提供真正独一无二的体验。就像触屏技术帮助了市场接受智能手机一样，为用户提供一种轻松、自然的接触AR/VR的方式，也将在推动AR智能手机的普及上发挥出重要作用。”

到底是什么让uSens可以在没有外部硬件的情况下实现同等水平的追踪技术？这个答案就是机器学习。

uSens产品与运营副总裁王亚明表示：“自从我们面向手机市场以来，便一直致力于研发基于RGB摄像头的手部追踪技术。虽然它与我们基于深度学习技术所研发的算法相似，但有一点不同的是，现在我们训练算法是为了学习单个摄像头的输入。它可以根据我们的算法提供手部骨架和关节的信息，不过因为智能手机的摄像头的FoV小得多，所以它的性能不如3D摄像头。但是，我们相信它在许多的用例中都已经具备了足够好的性能。”

王亚明还透露道，目前uSens已经与美图合作，将这项技术运用到AR相机中。同时，uSens也在和一家尚未公开的游戏公司合作。据透露，该公司已在纳斯达克公开上市，并曾发布过一款社交网络游戏。

虽然目前还没有相关的成熟应用上线，但我们可以结合市场上已有的一些热门AR应用来设想一下这项技术可能带来的改变。

比如PuzzlAR，虽然这款游戏已经达到了将凝视光标与触摸屏手势结合在一起的效果，但想象一下，如果可以让玩家用手在空间中操作拼图，那么这种游戏便会让人更有身临其境之感。再比如，像Froggipedia这样的教育应用程序，也可以借助手势追踪技术来更准确地模拟出青蛙解剖的过程。毕竟用手指作为操作工具远比用智能手机更加直观。

同时，uSens的这项技术也可以促进AR眼镜，尤其是那些基于Android系统的可穿戴设备的创新。

但愿AR硬件行业正朝着这样的方向思考，因为它很可能会为移动端用户带来全新的AR体验。