在刚结束的CES2020上,NextMind展示了一款基于EEG的穿戴式实时脑机接口设备(目前为开发者版)。目前,该套件特点是非入侵设计,信号实时处理,仅60g重,支持多数AR/VR设备,穿戴简便,开发者版售价仅399美元。
NextMind设备需要放在大脑后侧读取EEG数据,然后基于深度学习技术进行解析。而被Facebook收购的CTRL-labs则专注于通过肌肉电信号EMG结合机器学习来实现非入侵脑意识操控。
显然,NextMind方案更符合“传统意义上脑机接口”概念,一方面是因为它的使用方式是直接戴在后脑勺上,另一方面也因为其更靠近人脑,原理是通过实时读取和分析脑视觉皮层信号来实现用意念控制电子设备的效果,使用更方便。
同时,与眼球追踪和输入方案相比,NextMind脑机接口通过视觉皮层能够识别到更丰富的信息,因此更能识别到真实意图,应用场景更多,包括:控制电视界面(换频道、播放、暂停、静音)、玩游戏、输入、改变台灯颜色等,用于VR的时候,只需要别在头显后侧绑带上,足够方便。
那么这款脑机接口背后有那些故事,实际上手体验又如何呢,感兴趣的话就跟青亭网一起来看一下。
后来他们开始尝试用非侵入式方案破解神经信号,在积累一定经验后决定开发一款能够实时分析神经信号的产品。
Kouider解释道,在实验室中分析神经信号的时间比较长,先是做实验,然后再进行分析,因此NextMind脑机接口的目标是,能够实时且同步地识别和破解视觉皮层信号,实现人脑和任何机器之间的交互,并成为一种大众化的技术。
目前,其开发的脑机接口仅60g左右重,通过上面搭载的8个电极来测量脑部活动,未来还将进一步缩小体积、减少电极来提升舒适性。Kouider透露,电极是测量脑部活动的关键,其采用了NextMind独有的材料(经历多次迭代开发而成的某种神秘材料),让电极可以为机器学习算法捕捉到更多数据。
谈及开发这种新材料的原因,Kouider表示:为了解决机器学习算法的难题,我们不得不研发新材料来提高灵敏度。这种材料基于脑电图传感方式,但与临床脑电图相比,前者的信噪比提高了约4倍,而且不用凝胶。
NextMind的每个电极搭载了一个微芯片,能够直接处理电极捕捉到的信息。此外,为了保证最佳信号,电极采用了类似于梳子的形状,能够穿过发丝到达头皮。有趣的是,Kouider在成立NextMind后就把自己剃成了光头。
因此本质上来讲,NextMind并不是眼球追踪系统,因为眼球追踪无法识别意图。打个比方,当一个人举玻璃杯挡在面前,另一个人看向他,但第一个人并不能确定第二个人是在看杯子还是看他,而NextMind却可以分辨。
目前,NextMind无法进行闭眼状态的数据读取分析,未来,NextMind目标是闭眼也能识别视觉意图,甚至视觉想象力,实现人脑与机器之间更快速、自然的交互。这些功能将会在一个设备中集成。
Kouider表示:我们发现视觉皮层不仅包含从外接识别到的信息,也包含你输出的记忆、想象、梦境信息。也就是说,视觉皮层中的神经元不仅具备视觉感知能力,也能处理来自外接的信息。
他还补充,而视觉注意力,则存在于信息接收和想象力输出之间,它通常以由上自下的规律移动,也受到前额皮质等大脑神经元部位控制,这也是NextMind正在着手破解的。
Kouider介绍到,理论上讲你一戴上就能用,但就像是第一次用鼠标一样,还是需要在尝试中逐渐熟悉了解。外媒VentureBeat有幸对这款产品进行了体验,并将其用于多种场景:
1)控制电视
目前,你可以通过NextMind实现更换电视频道、暂停播放、静音等动作,不过要依赖与电视上的界面,相当于你在用注意力控制电视上的输入光标(绿色三角形)。
2)玩游戏①
在这个demo中,体验者需要用摇杆去控制一个小方形在平台上跳跃,同时可以通过注意力去攻击敌人或者推动物体(用注意力移动绿色三角形来实现)。
3)输入密码
体验者通过注意力在电脑屏幕上输入4位数字密码,以此来解锁屏幕。不过一个一个选择数字是一个漫长的过程,不过随着日后算法日益提升,速度逐渐提高。
4)玩游戏②
第四个demo是经典游戏《打鸭子》的改编版,体验者表示用注意力开枪比手柄更容易,即使是用余光来看鸭子也没问题,只要视觉皮层识别到鸭子,理论上NextMind就能够识别。
后来体验者摘下了自己的眼镜,由于看不清绿色三角是否对准鸭子,识别的准确率有些下降。这是因为你的大脑只接收到一个大概的信号,于是NextMind无法确认你将注意力放在正确的目标上。
5)控制台灯颜色
体验者表示:控制台灯颜色是最有趣的应用之一,需要通过将注意力集中在电脑上的不同色块来控制。未来,开发者可以将物理的着色器安装在台灯上,这样NextMind用户就能直接控制台灯颜色,不需要连接电脑了,或者有一天甚至可以通过在头脑中想象来实现控制。
当然色盲患者也不用担心,不同的色块上具备不同的图案,方便区分。Kouider解释,这是因为视觉皮层包含多种信息,包括形状、方向、边界、颜色和运动等,在不久的将来,NextMind甚至有望破解脑皮层对形状的理解,到时候就不需要色彩,甚至几乎不需要用图案来辨别。
6)VR
用于VR头显时,不需要使用绑带,直接将脑机接口卡在头显绑带背面就可以。此外在VRdemo之前,还需要接受一段训练和校准,在这过程中你需要将注意力集中在外星人头上,炸毁它们。
除了攻击外星人之外,体验者还尝试用注意力爆破木桶。由于在逐渐熟悉的过程中会发生某种形式的迁移学习,即使木桶形状和外星人不同,NextMind也能有效识别。
Kouider指出,由于VR的分辨率还不够高,因此为了提高视觉注意力识别的准确性,demo中的目标必须体积更大。此外,在VR中不再使用绿色三角形光标,而是利用色彩等的改变来为大脑提供新的信息,促进神经反馈。他还表示:NextMind并不是独立于VR的设备,可以把它看做是VR或AR交互的另一种形式。
这种搭配的效果足够好,以至于在CES2020上斩获两个奖项,包括:VR/AR领域最佳创新奖和穿戴技术荣誉奖。不出意外,现场体验感也足够好,不完美但有效。接下来随着硬件、软件和机器学习算法的提升,效果有望进一步提升。
对此,Kouider表示:在提升机器学习算法的速度和效率,以及简化使用流程上投入了大量时间和精力,但现在最主要的困难在于硬件,就像是没办法使用MRI一样,虽然识别效果更好,但是时间分辨率不够高。解决这一问题的办法之一,就是继续积累足够的机器学习数据。
此外,也可以集成在AR眼镜中,搭配手势识别、眼球追踪等技术一起使用。
另外一种潜在的应用场景是神经检测,比如验证飞行员是否在5秒内注意到错误警报,如果没有便通知警报变的更显眼。对此,Kouider表示:不过目前,更重要的是优化脑机接口的控制功能,而不是检测,因为需要尽可能提高算法的速度。
Kouider补充,NextMind最主要的成就是实现实时的脑机交互,我认为在3、4年后,它还能识别你闭眼在脑海中思考的东西。理论上讲是可行的,只是需要解决信号和速度的问题。本文系青亭网翻译自: