需要广泛的传感器技术来支持增强现实和虚拟现实(AR/VR)系统。如今的AR/VR实现主要集中在视觉和音频接口上，并依赖于运动跟踪和听觉/语音识别传感器。随着新型传感器和各种类型的触觉技术的引入，这种情况开始发生变化。本FAQ首先回顾了目前AR/VR系统中使用的几种基本位置传感技术，提出了用于神经康复和改善生活质量的AR/VR系统，回顾了热传感技术如何开发以提供更完整的AV/VR环境，并通过查看基于热和触摸反馈的新兴触觉技术来结束。
增强现实技术包括创建一个将现有环境与虚拟元素整合在一起的环境。在虚拟现实环境中，系统创建完整的“现实”，只需要知道人的相对运动和方向。一个基本的VR系统使用一个惯性测量单元(IMU)，包括一个加速度计、一个陀螺仪和一个磁力计。AR系统需要知道人在哪里，但它也需要了解人看到了什么，听到了什么，环境是如何变化的等等。因此，AR使用了更复杂的传感，从IMU开始，添加了飞行时间传感器、热图、结构光传感器等。
AR和VR都是沉浸式环境，尤其是VR，完全沉浸式是良好用户体验的必要条件。在开发AR/VR系统时，潜在的晕动病是一个挑战。AR/VR设备必须快速准确地捕捉用户的动作，以避免晕车。imu和其他运动传感器技术必须具有非常低的延迟和高度稳定。在AR/VR系统中使用的imu结合了加速度计、陀螺仪和磁力计，以促进误差修正并快速产生准确的结果，使系统能够跟踪头部运动和位置。
此外，AR和VR系统都可以从各种形式的用户反馈和交互中受益，包括手势和语音识别。手势识别可以基于实时视频分析(这可能是能量和计算密集型)或更先进的技术，如电子场传感、激光雷达和先进的电容技术。有关手势识别的讨论，请参阅FAQ“机器如何识别手势?”
AR环境的一个关键是准确、快速、连续地呈现计算机生成的实际环境图像。大多数AR耳机依赖于一种或多种特殊类型的成像传感器，包括;飞行时间(ToF)相机，垂直腔面发射激光(VCSEL)的光探测和测距(LiDAR)，双目深度传感或结构光传感器。有些使用这些传感器的组合。
ToF相机将调制红外光源与充电耦合器件(CCD)图像传感器结合在一起。他们测量反射光的相位延迟(飞行时间)来计算被照亮物体与相机之间的距离。数千或数百万个这样的测量数据组合成一个“点云”数据库，代表周围地区的三维图像。一种最近开发的技术，基于vcsel的激光雷达可以产生更高保真度的点云。此外，VCSEL技术还被用于智能眼镜和其他可穿戴设备，以生产更紧凑、更低功耗的显示器和手势识别系统。
结构光传感器将确定的光模式(红外或可见光)投射到周围环境。对图样光的畸变进行数学分析，以三角测量到环境中各个点的距离:分析相机像素数据(一种原始点云)，计算光的投射模式与返回模式之间的差异，考虑相机光学和其他因素，确定到环境中各种物体和表面的距离。虽然可以使用单个结构光传感器，但当使用两个结构光传感器并将其输出组合时，可以实现更准确的结果。
AR系统中发现的其他传感器包括定向麦克风(未来可能被骨连接定向音频换能器取代)，各种生物传感器，如热传感器，环境光传感器，以及前后视频摄像机。此外，还需要无线链接来下载所有传感器数据并上传视频信息，以便实时创建沉浸式动态环境。
Neurorehabilitation
AR/VR技术正在为一系列医疗应用开发。在一个例子中，基于虚拟现实技术正在开发一个使用虚拟现实的沉浸式神经康复练习系统(INREX-VR)。INREX-VR系统可以实时捕捉用户的动作，并评估上下肢体的关节灵活性，记录训练过程并保存肌电图数据。一个虚拟治疗师演示练习，可以使用远程医疗连接配置和监控会话。
INREX-VR软件是利用现成的VR硬件开发的，适合患有神经障碍的患者、负责监督患者康复的治疗师和学员使用。该系统可以通过皮肤电导监测心率和压力水平来评估用户的情绪状况。当该系统与VR头显一起使用时，还可以实现面部识别。
加热未来的AR/VR
可以为AR/VR环境增加热维度的设备是一个“热门话题”。各种热传感和热触觉技术正在被研究(图3)。为AR/VR系统提出的热传感技术包括热阻、热释电、热电和热电。虽然这些传感器将热能转换为电流或电压，但功率水平太低，无法支持能量收集，但足以实现热传感。特别是，聚合物复合材料和导电聚合物有望在未来的热传感器中得到应用。聚合物的机械灵活性使其特别适合于可穿戴热传感器。一些基于聚合物的热传感器可以在接触和非接触模式下工作，进一步提高了灵活性。性能稳定性和热滞引起的反应延迟是热传感器准备用于AV/VR系统之前的两个挑战。
热触觉或热刺激是AR/VR的另一个新兴领域，它将在AR/VR环境中提供更强的沉浸感。热触觉技术预计将依赖于热阻加热器或珀尔蒂尔设备，它们可以控制温度或目标区域，但比基于聚合物的热传感器更耗电。积极的一面是，主动热触觉可能比基于聚合物的热传感器有更快的响应时间。通过热触觉技术，用户将能够感受到虚拟物体的温度，并与他们的环境进行更真实的互动。
热阻式加热器可能比珀尔帖器件有更低的滞后，但热阻式加热器只提供加热，而珀尔帖器件可以同时提供加热和冷却。开发热触觉技术的一个关键因素是需要用户控制，能够选择一个温度范围来提供刺激，而不会引起不适或烧伤。可穿戴Peltier设备需要新的材料，既灵活又轻便。材料开发是在未来AR/VR系统中实现热传感和热触觉的关键活动。
超声波触觉
基于超声波的触觉技术是基于一系列扬声器的精确控制而开发的，这些扬声器可以发出精确定时的超声波脉冲。时间差的设计是为了使各个扬声器发出的超声波同时到达同一地点，并形成一个人体皮肤可以感受到的压力点(图4)。超声波相遇的焦点可以实时控制，并根据手的定位或其他因素随时改变。
跟踪摄像机具有手势识别的双重目的，并提供一个人的手的确切位置，使焦点定位在手上的特定位置。通过控制焦点的运动，可以创造多种触觉效果。触觉反馈预计将应用于游戏之外的AV/VR系统，例如，购物亭和自动售货机的系统控制和交互，汽车内饰，楼宇自动化和其他领域。
总结
传感器是实现引人注目的沉浸式AR和VR环境的关键技术领域。由于创建将周围现实与虚拟元素拼接在一起的AR环境更加复杂，AR传感器系统也更加复杂。新的传感器模式正在开发中，以提高AR/VR系统的真实感，包括热传感器和热触觉和触摸触觉。
参考文献
消费者AR可以拯救生命，经济美国计算机协会
新兴的热技术支持增强现实先进功能材料
神经康复和提高生活质量的柔性虚拟现实系统、MDPI传感器
AR/VR传感器, Pressbooks
触摸将走向虚拟, ultraleap
了下:传感器提示
