手势识别是一种用户界面，它允许计算机捕捉和解释非语言交流，包括面部表情、头部动作、身体位置和手部动作作为命令。手势是一种越来越普遍的计算机控制方式，用于识别手势的传感器种类也在增加。
本FAQ简要回顾了目前手势控制是如何实现的，着眼于手势未来可能的应用，并在结束时调查了用于识别、解释和响应手势的各种类型的非视频传感器，包括电子场传感、激光雷达、先进电容技术和触觉。
最初，所有的手势识别都依赖于实时视频信号的解读。基本的基于视频的手势识别仍然被广泛使用。这是一个计算密集型的过程，工作原理如下:
- 摄像头将图像数据与深度感知设备(通常是红外传感器)的数据相匹配，输入计算机，以捕捉三维动态手势。
- 手势识别软件将捕获的图像数据与手势库进行比较，以找到匹配。
- 然后软件将识别到的手势与相应的命令进行匹配。
- 一旦该手势被识别和解释，计算机要么确认用户想要的命令，要么简单地执行与该特定手势相关的命令。
在复杂的环境中，基本的视频信息可以通过骨骼和面部跟踪，加上语音识别和其他输入来增强(图1)．
汽车应用程序
汽车内饰是基于视频的手势识别系统的新兴应用的一个很好的例子。目前的汽车手势识别系统使司机(有时乘客)无需触摸按钮或屏幕就能控制信息娱乐系统或来电。在这种环境下，手势识别可以代替复杂的菜单界面，使驾驶员更专注于驾驶，从而提高安全性。
声控系统还能让驾驶员专注于路况，使用起来也更加复杂。大多数当前的语音控制系统不使用自然语言，它们需要精确的阶段，并可能涉及较长的菜单链以达到所需的特定命令。由于手势识别对用户来说很简单，它的汽车应用有望扩展到其他系统，如加热和冷却、室内照明控制、远程信息处理系统，甚至与远程智能家居系统的连接。系统结合了语音识别和手势识别的最佳特性。
该摄像头安装在基于摄像头的汽车内部手势识别系统中，以获得有关内部空间的通畅视图，通常从高处有利位置，如天花板。目前的系统只关注驱动程序。未来，随着车内摄像头数量的增加和图像质量的提高，监控空间的范围有望扩大到乘客。被监测区域被红外led或激光照亮，以提供尽可能好的图像质量，即使在低光条件下。如上所述，手势是实时分析的，机器学习支持准确性的持续提高。宝马7系汽车的一些手势识别说明(图2)。
图2:BMW Series 7汽车中编程的手势示例。(图片:Aptiv）
左斜手势识别
电场接近感测(EFPS)是基于电场受到至少有轻微导电的附近物体的扰动。EFPS的一个实施例是一种微电子装置，它可以探测移动和静止的物体，即使是非导电的固体材料。它通过感应由两个天线电极产生的极低功率电磁场的微小变化来工作。它的范围从几厘米到4米可调，而且它的工作不受对地阻抗的影响。
EFPS和其他电子场传感器提供少量数据。它们比光学手势识别系统更小，重量更轻，功耗更低。在另一个实施例中，手势感知IC使用电极来感知电子场的变化，并计算物体(如手指)的位置，在三维中传递位置数据，并实时将运动模式分类为手势(图3)。通过使用电子场感知，系统对光、声音和其他可能干扰其他3D手势感知技术操作的环境条件完全不敏感。
这种特殊的3D手势传感IC为电池供电的设备进行了优化，传感电极由具有42、43、44、45和100 kHz可选信号的低电压信号驱动。由于电子场传感器可以穿透非导电材料，它们可以被封装在防风雨的外壳或建筑物的内墙中。除了便携式手势传感应用，EFPS系统目前应用于各种传感应用，包括:
- 能够确定被抓取物体属性的机器人操纵器
- 汽车安全气囊系统，以确定座位是否被占用
- 建立自动化系统来确定房间何时无人居住
使用激光雷达
光探测和测距(LIDAR)被用于为消费者和工业系统的手势识别带来独特的性能范围。一个例子是基于940 nm不可见光垂直腔面发射激光器(VCSEL)的激光雷达器件，该器件带有集成驱动器和单光子雪崩二极管(SPADs)接收阵列。该系统使用基于飞行时间(ToF)测量的多区域测距。它是作为一个集成的6.4mm × 3.0mm × 1.5mm模块交付的，包括垂直腔面发射激光器(VCSEL)发射器和嵌入式SPADs和基于直方图的ToF处理引擎的接收器(图4)。
这种基于激光雷达的模块体积小巧，功耗低，有望在一系列应用中集成无触控手势识别，包括AR/AV耳机、平板电脑、手机和住宅产品，如厨房电器、恒温器和其他智能家居控制，以及电梯控制、交互式标识和票务和自动售货机等设备。该传感器可以在4×4(16区)快速测距模式下提供高达每秒60帧的帧数。在高分辨率模式下，传感器测量64个区域(8×8)。
缩小电容式手势识别
基于微型碳纳米管纸复合电容式传感器的电容式三维手势传感器已被开发用于集成游戏设备和其他消费电子产品。与上一代电容式手势传感器相比，这种碳纳米管纸质设备速度快10倍，体积小100倍，操作范围更大，可达20厘米(图5)．它们不需要任何手持设备或其他设备就能识别3D手势，而且比红外传感器更快、更准确。此外，他们对环境因素如肤色和照明条件不敏感。
图5:这种碳纳米管纸基手势识别装置比前几代电容式传感器速度快10倍，体积小100倍。(图片:Somalytics）
摄像头+超声波触觉
一款专为VR/AR头盔设计的新系统将基于红外摄像头的手势识别与触觉反馈相结合。该系统使用红外发光二极管照亮用户的手，发光二极管的脉冲与相机帧率同步。每一次脉冲，摄像头都会向处理器发送当前位置信息。处理器中的手势识别软件可以模拟骨骼和关节以及手部运动。这使得系统能够准确地知道拇指或其他手指的位置，即使它不在视线范围内。该系统可以通过编程识别各种手势，包括抓取、滑动、捏、推等等。这种手势识别系统的交互区域范围从10厘米到1米，典型的视野为170°x 170°。
除了识别手势，该系统还知道人的手在哪里，并可以利用这些信息来控制基于超声波的触觉反馈。超声波触觉系统是基于一个特定的时间差触发的扬声器矩阵，使声波聚焦在空间中的特定点，例如，一个人的手的特定部位的位置(图6)．3D焦点可以根据应用程序的要求实时改变。在焦点处超声波的联合振动产生了一个人类皮肤可以感受到的压力点。
总结
基于视频的手势识别仍然是手势识别中应用最广泛的形式。它可用于各种应用，包括医疗环境和汽车舱室。最近，手势识别已被应用于AV/VR系统、楼宇自动化系统和机器人技术。手势识别的应用正在通过新的手势识别技术实现，包括电子场传感、基于vcsel的激光雷达系统、碳纳米管电容器件和结合超声触觉反馈的红外相机。
参考文献
电基础知识,微芯片
触摸正在走向虚拟, ultraleap
什么是手势识别?, Aptiv
什么是手势识别?手势识别的定义， 3D云
了下:传感器提示
