文/VR陀螺 小钻风
今日,中国从事脑机接口(BCI)10余年的研发商博睿康宣布完成过亿元B轮融资,红杉中国独家领投。 脑机接口现已成为当今最热门的话题,造火箭的马斯克、Facebook的小扎都是其狂热粉丝。 脑机接口不只是深得巨头看好,越来越多的初创公司也开始从事相关研究,来自法国的神经技术初创公司NextMind便是其中之一。
创始人Sid Kouider此前是认知神经科学教授,积累了大量有关无创解码神经信号的专业知识,希望开发出能通过视觉皮层视野解码视觉意识,进行脑机交互的产品,于是成立了NextMind。 NextMind曾在CES上展出脑机接口设备,引发大量关注。今天,陀螺君想要带大家体验的便是NextMind这款脑机接口设备,借这款产品带大家开启脑机接口的大门。
售价399美元,不足巴掌大小的脑机接口设备NextMind有何特别之处?
脑机接口设备NextMind装置非常简单,小巧简洁,易安装,易操作,仅包含三个部分:传感器、头带以及USB电缆,其核心是传感器,也就是进行脑机连接的接口。
传感器外形设计与蜘蛛类似,通体黑色,由一个包含传感器电路的圆形主体与包含九个EEG(脑电波)传感器的弧形支架组成。
从传感器的凹面看,可以清楚的看到九个类似小脚的EEG传感器,交流数据由这些传感器直接向主体传达。 圆形主体的侧面,一侧设有USB-C端口用于充电,另一侧设有按钮和指示灯,该按钮用于打开/关闭NextMind,以及进行蓝牙配对。 续航时间较长,充满电需2个小时,可持续使用时间约为8小时。据介绍,传感器对电池的管理方式较为智能,闲置几秒后便会处于待机状态,因此在佩戴前最好提前检查是否处于开机状态。 NextMind规格如下:
图源:VR陀螺
NextMind传感器可与PC、Mac兼容。与NextMind兼容并不需要很高配置,但如需与VR头显一起使用,则需使用支持VR的PC。
图源:VR陀螺
需要注意的是,NextMind仅与PC、Mac兼容,目前尚未支持Android系统。这意味NextMind与Oculus共同使用时,需使用Link进行PC连接,不可直接与Quest独立使用。 有猜测认为,未来可能会通过蓝牙连接的方式增加对独立VR头显的支持,运行时可能会将其移植至Android系统,并对移动系统进行优化。 NextMind现可在全球多个地区购买,售价399美元起。
易安装,可与VR头显配合使用的NextMind如何工作?
NextMind的安装很简单,无需任何技巧,核心只需做到让传感器紧贴后脑勺,别让头发挡住,以及绑紧点,别让它滑动即可。 使用头带时,只需将传感器与头带连接,戴上头带后确保传感器保持在颈背,佩戴好头带后,轻轻地进行上下调整,使EEG传感器触角与头骨部分的皮肤相连接(而不是头发),让从大脑读取的数据更为可靠。
如果与头显一起使用,不使用头带,而是将传感器直接连接到设备后部,戴上头显后,确保其保持在颈背位置。
传感器之所以佩戴在后脑勺部位,是为了靠近视觉皮层以读取其发出的脑电波。当我们注意力集中在某个物体时,眼睛会将所看到的信息发送给大脑,大脑的各个区域会针对这些信息进行处理。 “视觉皮层”就是其中的一个重要区域。“视觉皮层”在面对不同信息时会产生可识别的反应,也就是不同频率的脑电波。NextMind传感器通过读取这些脑电波信号来“理解”我们的想法。
虽然颜值高,佩戴方便,但NextMind佩戴舒适度有待提高,NextMind官方提供的头带配有魔术贴,用户可自行调节松紧。想要获得更好的大脑读数,传感器需与头部保持紧密贴合,且避免移动,否则校准无效。 因此头带绷紧比松弛状态更好。然而传感器的触角部分塑料边缘非常锋利,如果头带束紧,会引起疼痛。 在与头显配合使用时,同样会出现类似情况。在头显背部位置安装传感器后,头显与头部贴合度会被改变。为使传感器与颈背相贴合,头显佩戴时,头显后部要比通常位置低,因此,头显眼镜部分会向上翘起,导致和鼻梁间的空隙变大。 此外,传感器在与头显进行连接时,不一定能保持稳定,因此需要注意不能使传感器滑落。 软件方面,用户可在NextMind网站下载可配置所有内容的安装程序,该安装程序会安装带有内置演示的集线器,以及一个指导安装的实用程序。软件安装仅需通过蓝牙将NextMind传感器连接到计算机,这是设备唯一的通信渠道。
安装好需进行校准,首先需要启动应用程序验证该传感器正在从大脑读取可靠数据,如果没有,可能是传感器未与皮肤直接接触,而是接触到头发,需要进行调整。此时,可看到一个脉动圆圈持续40秒的时间,以便运行时可根据用户特定大脑反应校准其检测算法。
校准完成后,用户会获得1至5的分数,分数越高,表示运行时的数据感测效果越好。如果分数高于3,则表示校准结果可接受,用户可以进行正常使用。 NextMind的等待时间有些长。时间之所以长,原因可能在于系统希望在执行操作进行数据传输前,确保用户确实在查看系统所理解的内容。 这意味着,从用户开始查看对象,到对象被激活,最佳情况下需等待1～3秒。与NextMind互动缓慢,意味着它不能在以速度为基础的场景下使用,比如动作游戏。换言之,想要准确性,则需以失去速度为代价。 当校准结束后启动应用程序时,系统会不断读取用户的脑电波,当检测到与校准过程中识别的信号相似时,会理解为用户正在查看该信号。 目前NextMind支持的功能只能对特定对象信息进行识别,并不能真正理解用户正在查看的内容。它无法知道用户面前具体看的是周杰伦还是刘德华的脸。它只知道用户正在查看某些特定模式。
虽然NextMind识别范围限定性很强,但同时可靠性得到了保证,能够较为精准、稳定地识别经过校准测试后的对象。
所以从某种程度上来看,可将其理解为一个眼动追踪装置,只是该装置追踪的不是人眼,而是脑电波。
此外,针对开发者,目前NextMind提供了相应的Unity SDK,其带有许多现成的预制件和示例场景,适用于VR和2D,并且具备很多功能,其中一项功能为模拟器:在进行应用程序调适时,无需使用真实的传感器,只需使用鼠标并单击鼠标即可模拟凝视(按住鼠标左键的次数越多,在该对象上的虚拟观察越多)。
在Unity应用程序中实现思维控制仅需向场景中添加NeuroManager预制,然后向需跟踪的每个对象添加Neuro Tag脚本。Neuro Tag会确保对象闪烁,以便被识别。对Neuro Tag事件进行定位,比如触发对象后,便可实现所需的所有逻辑。编写应用程序非常容易,只需只分钟便可开发出Unity Cube,如果注视Unity Cube,它会变大,当注视移开时,会再次恢复到原始大小。
NextMind初体验没有读心术,但在VR中用神眼杀死了敌人
NextMind提供有许多2D演示,包括游戏、键盘、音乐创作等,这些都由大脑进行交互。 从演示体验来看,软件稳定性好,偶尔会有延迟,这一点在游戏时体现的最为明显。以演示游戏《Might Arkanoid》为例,想要准确地接住球,需要提前三秒预测其轨迹。体验平台游戏时,用眼神杀死敌人会很痛苦。使用UI界面,比如创建音乐时情况会更好。 在测试中还注意到另一个问题,在进行体验时,如果精神上稍作停顿,眼睛开始游离,设备会继续会保持追踪,将目光视为输入,这个过程中可能会随机激活其他操作。在进行凝视驱动的UX设计时应将这种情况考虑进去。 眼神的游离是一个较为常见的状态,不应该用于触发重要事件,可以调制为通过硬触发(比如鼠标单击)进行确认。 演示的应用程序当中,有一款最令人满足,用户可在该程序中找到NextMind的3D模型以及一些“动作点”,当用户将鼠标悬在动作点保持不动时,会有更多相关信息出现。这是一种较为理想的方案,就像在日常生活中一样,使用凝视获取更多上下文信息。 最后一款演示应用程序是一款VR动作游戏《Mindvasion》,用户通过观察外星人搏动的大脑来射击外星人。
VR动作游戏《Mindvasion》
《Mindvasion》游戏玩法简单,敌人移动速度非常慢,会停留在某个位置,以便玩家更好地瞄准他们头部进行射击,并在传感器所需求的时间内杀死敌人。游戏不错,但它再次证实目前并不是游戏理想的传感器。
总结
整个体验下来,NextMind确实实现了用“意念”操作,但脑机接口技术目前仍处于早期阶段,无法实现《刀剑神域》中的功能。 基于目前的脑机接口技术,NextMind算得上其中一款非常好的设备。该公司在策略上选择只提供一项功能,用眼睛选择对象并将这一项功能做到很好,设备的准确性高,可用性也很高,安装简单,学习起来很快,并向开发人员开放SDK。 唯一的问题在于检测速度较慢,因此建议不要在对反应时间要求高的应用程序中使用它。 如果想开始尝试使用高质量且易于使用的大脑计算机设备,如果预算允许,NextMind比较适合。需要注意,NextMind仍然是一款实验性设备,如果需要在专业环境中追踪用户视线,更建议购买眼动追踪配件。 随着大厂相继曝出要加快推进脑机接口设备商业化脚步,资本热潮开始逐渐往这块新兴市场涌入,至于最终谁会成为最大受益者,现在还不得而知,但脑机接口与VR/AR的结合一定是众多企业翘首布局的重要阵地。 NextMind是目前为数不多得以量产的脑机接口设备,尽管功能尚简单,但从近期Facebook这些厂商放出的消息来看,更高阶的脑机接口设备已经具备了商业化落地和量产的资本,我们拭目以待。
