为了让你自然操控AR眼镜，Facebook从多种方向探索AR的交互方式，比如：用摄像头、体感手套来追踪手势，或是用EMG肌电技术追踪五指的运动神经信号等等。
实际上，除了自然的交互外，手指的触觉反馈也能帮助增加AR的沉浸感。那么，如何将触觉和手势交互自然结合呢？为了探索这个问题，Facebook科研人员研发了一种改变视觉、声觉和触觉的体感增强系统：TactileEchoes。
TactileEchoes的联合设计者AnzuKawazoe（加州大学博士候选人）表示：TactileEchoes可能是首款将AR投影、手势识别等多重模拟反馈结合的体感方案。它具有10种可调试的参数，支持模拟多样化的多感官反馈。
据悉，TactileEchoes又被科研人员称为“基于手势的多重感官增强系统”，其特点是采用可穿戴式设计，与基于投影的AR界面结合，Echoes基于AR投影，手势追踪通过摄像头，而体感反馈则通过手指上方的压电传感器和制动器来实现。
采用AR投影界面的好处是，体验者的手可直接触碰桌面并得到反馈，无需控制按钮或触屏来进行输入，因此体验感更自然，而且可以融合视觉、体感、听觉多重感官反馈。应用场景方面，可用于游戏、娱乐、科研等等。
细节方面，整套系统包含：压电传感器、制动器、声卡、PC、扬声器和音频放大器。压电传感器在识别到手指震动信号后，会传输到PC中进行处理，并输出至制动器中，对手指产生震动反馈，与此同时扬声器也将发出音频反馈。而AR投影则提供视觉UI。
实际上，在日常生活中你用手指敲打桌面时，通常能听到哒哒声，而TactileEchoes方案想了解的是，能否用空洞的回音，或是哄哄的雷声来代替哒哒声。
也就是说，摄像头识别到手指与平面接触时产生的震动强度，会影响你与AR界面的交互体验。TactileEchoes产生的体感和音频反馈与手指接触表面的力度相关，用力越大反馈越强烈，当你轻触某样物体时，可能会听到轻轻的回声，当你用力捅某样东西时，可能会听到砰的回声。而当你的手指触碰不同的界面时，得到的反馈也有所不同。
打个比方，当你短暂用手敲击AR界面时，会得到不连续的回声，如果你用手指在AR界面上滑动，则会产生持续的回声。除此之外，还会根据触屏的表面或位置渲染不同的体感反馈。
Kawazoe表示：我们的灵感是，通过TactileEchoes来增强木桌等普通平面的触感，加入动态的体感反馈和音效，对触碰做出响应。
Facebook表示：TactileEchoes是一个穿戴式触觉反馈系统，其特点是可捕捉手指触碰桌子等平面产生的震动，并实时处理震动数据，转化为“回声反馈”，就像是将触觉震动转化为声音震动，从而产生回声的一种持续的反馈过程。
在实验中，科研人员创造了一个2D的AR音乐合成界面，看起来互动性足够优秀，尽管只是虚拟的AR界面，也能同时提供触觉、震动、音频的自然反馈。
科研人员采用了VR/AR头显、交互式AR投影来展示视觉效果。实验共分为两种，一种是调查体验者对于不同音效、体感反馈的认知，而第二个实验中，体验者需要完成结合TactileEchoes方案的交互式AR游戏。体验者表示：音频和体感反馈有效提升了游戏交互的响应能力，而且沉浸感和临场感也加强了。
在第一场实验中，体验者共经历35次测试，每次需要用动词或形容词来描述自己的感受。科研人员调查了体验者对于回声反馈与触觉结合的看法，通过一些触觉游戏，让体验者对比TactileEchoes的体验感与传统体感游戏的区别。
科研人员还发现了一些与感知相关的有趣现象，比如：体感反馈延迟，出现了知觉掩蔽现象，也就是说某种刺激会影响人们对另一种刺激的强度感知。未来，科研人员将在相关的方向继续进行实验，并将结果用于优化整个TactileEchoes系统。
此外，Facebook计划与企业合作，将TactileEchoes商业化，应用于桌面游戏、音乐演奏、教育等场景。参考：
