Esther｜编辑
在Quest和Quest 2推动下，手势识别已经成为手柄之外，另一种C端VR的主要交互方式。目前市面上有多种VR和手势识别结合的方案，除了基于红外传感的Ultraleap外，Quest则是基于摄像头追踪和计算机视觉算法，而Valve Index手柄则是用电容传感来追踪五指。据爆料显示，索尼PS VR 2配备的手柄也会支持某种手势追踪功能。
在这些方案中，Facebook看好EMG方案在手势识别上的潜力，认为通过测量肌电信号可更准确、更稳定的识别手势，而且追踪环境不受亮度限制，可以更加低调的识别手势。其实，市面上已经有多种腕带形式的手势识别方案，比如Facebook的EMG腕带就是基于CTRL-Labs技术。
实际上除了CTRL-Labs，获得英特尔、亚马逊投资的Thalmic Labs也曾推出手势识别腕带Myo，特点是可识别手臂动作和手部形状。据悉，在Oculus发布VR手柄之前，Myo腕带曾被作为早期头显Oculus DK1的输入手段之一。
近期，开发者PerlinWarp决定尝试用Myo腕带来控制VR游戏，通过将手势信号映射到Valve Index手柄上，他测试了用Myo腕带来玩《半衰期：爱莉克斯》的效果，从视频来看控制手指的效果足够低延迟，而且无需手柄，体验感更沉浸。
我们知道EMG手环的原理，是通过测量前臂的肌电脉冲来追踪手指肌肉运动，并通过AI算法来推测手势。随着不断完善AI算法，EMG手环还可以预测使用者的意图，在手指活动之前就能识别手势意图，这避免了大幅度动作干扰其他日常活动，而且对于手指发育不全的残障人士尤其友好。
除此之外，EMG手势追踪的另一个好处是可追踪场景更广泛，即使你的手在口袋里也可以实现追踪。相比之下光学追踪方案依赖明亮、无遮挡的环境光，你还需要将手放在可追踪范围内，通常需要举起手臂，日常使用不太方便。而Myo手环则配备9轴IMU传感器，通过电磁和肌电信号来识别手掌翻转、手指弯曲等动作。Myo和CTRL-Labs都是基于这种类似的原理。2019年时，CTRL-labs就曾向Thalmic Labs收购与EMG相关的Myo专利，其中涉及测量肌肉脉冲引起的电能转变的软件和硬件方案，以及人机交互相关技术。为了展示EMG手环输入的效果，开发者用它来操控2D的街机游戏《打砖块》，通过移动手掌来控制平板。而为了展示在VR游戏上的效果，PerlinWarp通过SteamVR的opengloves驱动器，用Myo手环来映射Index的五指追踪效果，从而控制《半衰期：爱莉克斯》中主角的手，从视频来看追踪延迟足够低，灵敏度高。不过，由于Myo追踪的是肌肉的电脉冲，当一根手指带动旁边手指弯曲时，似乎只能识别主动弯曲的手指。目前由于缺少培训数据，复杂的手势比较难以识别，拇指动作也难追踪，因为控制拇指的肌肉位置和其他手指的不一样。Perlin表示：探索EMG手环交互的原因，是为了寻找一种更适合智能眼镜的输入方式，因为我发现在拥挤的公交车上，通过语音指令控制Siri并不方便。尽管基于摄像头的光学手势追踪更主流，但它依然受到遮挡、隐私等问题限制。的确，目前市面上的Echo Frames等智能眼镜通常采用镜腿的触控板，或语音助手来进行控制。你必须发出声音才能互换语音助手，因此在人多的场景中显得比较高调。而如果AR眼镜、智能眼镜像Quest一样配备摄像头手势识别方案，则难免引发与隐私相关的争议，因为基本上使用者相当于在脸上戴了摄像头，随时可能记录周围的一切。相比之下，EMG手环不配备摄像头，只有在使用者同意的情况下才收集数据，摘下后则停止追踪，安全性更高。据悉，Myo手环售价仅200美元，对于想要探索EMG手势控制VR游戏的开发者来讲门槛并不高，期待未来能应用在更多场景。https://github.com/PerlinWarp/pyomyohttps://mixed.de/steamvr-fingertracking-per-neuro-interface/（ END）
青亭网青亭网--链接科技前沿，服务商业创新
2440篇原创内容
公众号
