凌感手势追踪算法与诠视视觉模组结合,加速手势识别在VRAR中的应用

近日，计算机视觉（手势识别＋slam）开发公司杭州凌感科技宣布和ARVR视觉模组硬件初创公司诠视科技进行战略合作。

凌感科技此次和诠视科技的战略合作着力于VR／AR领域的手势追踪技术的结合，由凌感科技提供手势识别的软件算法，基于此算法，搭载了诠视视觉模组的VR／AR设备可以实现手部的3D骨骼识别和跟踪。

凌感和诠视都是专攻VR／AR领域的技术公司，但是在技术层面上，双方研究的方向并不相同。凌感科技专攻手势识别／骨骼识别以及6DoF Slam技术、物体识别等。而诠视科技的优势在于视觉模组和头显头显设计并且已应用于诸多VR／AR设备上。因此双方合作后，未来采用了诠视模组的VR／AR头显能够在不增加任何传感器的前提下具有高精度手识别能力，实现自然、高效的交互体验。

凌感手势追踪算法与诠视视觉模组结合

如今VR、AR在全球兴起，初创公司争相涌入市场，相比很多厂商选择从VR／AR硬件整机入局，凌感和诠视反而都选择了各自的垂直赛道，而这两条赛道也在时代的大潮下出现了必然的交集。

“凌感将提供手势识别软件算法，实现手部的3D骨骼跟踪和手势识别，结合到诠视的多款硬件模组中，该模组带有Movidius计算芯片、双鱼相机、RGB相机或TOF相机，可用于VR／AR头显。双方战略合作后，采用了诠视相机模组的头显，可以在不增加任何硬件的基础上，还能获得专业精准的手势交互能力。” uSens凌感联合创始人、CTO费越博士介绍了此次合作的细节。

凌感自2014年在硅谷成立以来，主要在视觉三维人机交互解决方案开发中进行深入探索。同时它也是全球第一个在有线设备以及移动端中基于inside－out实现26自由度手势追踪和6DoF Slam定位的公司。

目前凌感的手势识别算法，几乎能够适配所有的相机，包括深度相机、彩色相机、红外相机、双目相机，并且能够实现静态和动态两种不同的手势识别。

在静态手势识别中，能实现超过10种以上的手势动作，包括指向、抓取、握拳、OK、剪刀手等手势，并且可扩展定制，准确率达到98％。

而动态识别中，能够实现5种以上的3D动态动作，同样支持扩展定制，准确率达到95％。

在计算机视觉领域，实现手的三维骨骼跟踪识别具有深远意义。早前手势识别需要依靠TOF、结构光等深度相机完成，对于VR／AR头显来说增加新的模块，不仅意味着成本提升，也会带来头显重量、体积加大，反而得不偿失。

然而随着计算机视觉算法的进步，凌感已经实现了最简单的单目RGB相机和3D手势骨骼识别技术，并且将这项技术应用于多个场景，从智能手机到工业级设备。同时该技术也被推向VR／AR头显领域。例如凌感早在2016年与戴姆勒合作，基于自然手势交互，6DOF SLAM跟踪的Mixed Reality头显来实现新的购车体验。凌感的手部追踪解决方案Fingo也已经与国内外AR／VR类头显厂商进行了深度合作，部分厂商已在规划集成Fingo的交互头显，而这也是为什么凌感选择与诠视科技合作，目的是为了加速手势识别更快地应用到VR／AR头显中。

另一方面，诠视作为一家从事空间感知与认知（VSLAM＋AI）底层技术开发的计算机视觉公司，主要专注于向AR／VR／MR、机器人、扫地机、无人机等领域提供高精度位置追踪、导航、避障及物体识别等高速（100fps）端处理VSLAM＋AI的视觉边缘计算平台解决方案。

据了解，诠视科技服务的企业品牌客户超过60家，多款品牌VR／AR设备均采用了诠视的视觉模组。去年诠视与南京睿悦Nibiru合作，嵌入Nibiru的系统底层中，将视觉模组融入到更多OEM／ODM的VR／AR终端中。

走向VR／AR主流交互方式的必然合作

此次合作的考量并不只是单纯的技术和算法上的结合，同时还是因为整个行业未来前景的影响。如今VR／AR头显都在追求更舒适的互动体验以及精简自由的移动设备，而手势追踪和SLAM定位系统算法明显是会直接影响到未来VR／AR硬件产品的走向。

为了保证更舒适的交互体验，手势追踪最开始被应用到了许多VR、AR设备上。尽管当下很多硬件设备依然会配备手柄控制器，但是手势识别将逐渐成为VR／AR设备的“基本”功能。

就VR头显来看，早在2014年底，Facebook就已经首次表达了对VR手势追踪技术的兴趣。此后，公司收购了Nimble VR初创公司，并将其四名手控跟踪技术的资深研究员纳入麾下。2019年年底，Facebook旗下的Oculus Quest宣布将在其硬件上开放手势追踪功能。在Oculus Quest之前，手势识别实际上已经成为了AR眼镜中最基本的交互方式，而VR上Vive Focus等设备也都开启了尝试。

除此之外，2017年谷歌也发布了手势识别芯片Project Soli。无论是HoloLens、谷歌还是苹果和Facebook，都在这一技术领域着重开发。可以看出，手势追踪是行业大头目光所指，也意味着未来硬件迭代的方向。

无论是从PC VR和连接手机的AR眼镜到VR、AR一体机，去繁就简是VR／AR硬件设备的大势所趋。因此，在提高VR设备便捷度的同时，无疑要思考去掉冗杂的部分，精简整个硬件交互流程。而手势识别最大的优势给用户提供了一种最自然的交互方式。因此，在硬件迭代的角度来看，手势追踪无疑是所有厂商都在思考的一个技术迭代方向。

VR／AR设备是极其追求用户体验的产品。相比手柄，当自己的双手能够在虚拟世界实现即时互动反馈，在游戏、工业、医疗等场景中，交互会更加自然以及更加真实。因此，手势追踪除了在硬件迭代精简道路上必不可少，在升级虚拟现实体验的过程中也是重要的一环。

加速手势识别技术应用 强强联合降低研发成本

凌感和诠视强强合作，将手势识别技术融合到视觉模组中，不仅能加速手势识别技术在VR／AR头显中的应用，同时能为硬件公司降低研发成本。

目前inside－out定位已经成为VR／AR硬件最主流的技术方案，不论是Oculus Quest、Vive Focus、Vive Cosmos等VR设备，还是微软、联想、Magic Leap等AR设备，都采用了inside－out追踪，并且成为其中标配功能，而这也将成为手势识别功能实现的硬件条件。

不过目前手势识别功能在VR、AR上并未普及，虽然实现简单的手势识别并不难，但如果要在普通的2D灰度或者RGB摄像头上实现高精度的3D手势识别和骨骼识别，对于许多硬件团队来说，需要投入非常多的人力进行研发。即便是科技巨头，很多技术也并不会亲力亲为，反而会选择收购专业的技术团队或者外部团队合作，抱团趋势非常明显。

拥有雄厚资金和庞大技术实力的巨头尚且如此，对于创业企业来说，所有VR、AR硬件中涉及的技术全部自行研发几乎不可能，所以整合市场已有技术，在自己擅长的领域深耕是更明智的方式。

凌感与诠视合作，不仅能够降低硬件企业的研发成本，同时，也将有效推动手势识别技术在VR／AR设备上的应用，为开发团队和用户提供更多的交互选择。

责任编辑：gt