手跟踪对于增强现实应用是非常有用的,因为它提供了方便与数字信息交互的自然用户界面,但是通常需要密集且昂贵的技术,例如特殊的深度传感器或独立的处理器。 谷歌的增强现实愿景是使用诸如谷歌玻璃之类的轻便可穿戴设备来完成这一操作。 今天,新的手势跟踪方法发布,只有基于前置摄像机和AI算法的处理流程,才能进行非常正确的手势跟踪。

该技术的主要创新使用传统算法检测手掌,使用基于AI的模型预测手指位置,将该运算代码命名为MediaPiPe的交叉平台框架。
MediaPipe最多可以将21点映射到手和手指,精度达到96%,可以在移动设备上执行所有操作(不在云中)。
Google可以在自己的设备上使用,但是现在流传的Pixel 4包括用于手势控制的Soli传感器。 理想的是,新技术的出现能够使丰富的AR体验变得容易且廉价,制作出廉价且强大的AR眼镜。
