随着价格和可获得性的不断提高，传感器正变得无处不在。然而，传感器数据并不是那么简单，容易受到噪声和其他干扰。由于传感器数据的复杂性，传感器融合技术的目标是通过提高信噪比、减少不确定性和模糊性、提高可靠性、鲁棒性、分辨率、准确性和其他特性，实现比单一传感器更好的性能。它使用选定的传感器来补偿其他传感器的弱点，或提高决策过程的整体准确性或可靠性。在大多数应用中，计算资源是有限的，人工智能和机器学习(AI/ML)可以根据实时运行条件确定最佳的传感器数据合并(融合)策略。
本FAQ回顾了各种融合级别和建模方法，并介绍了在工业4.0、物联网(IoT)和机器视觉和图像处理应用中开发和实现传感器融合应用的一些平台。传感器融合实现可以根据抽象级别分为三类:
数据级的融合只是融合或聚合多个传感器数据流，产生更多的数据量，假设合并类似的数据源可以提高精度和更好的信息。数据级融合用于降低噪声和提高鲁棒性。
特征级融合使用来自多个独立传感器节点或具有多个传感器的单个节点的特征。它将这些特征组合成模式识别算法中可用的多维向量。机器视觉和定位功能是特征级融合的常见应用。
决策级别的融合将来自多个决策分类器的本地结果合并为单个全局决策。
基于机器学习的各种方法被用来开发一种最优的传感器融合算法。一种方法比较几种传感器融合方法的结果，使用弗里德曼检验按秩分析方差和霍姆方法迭代接受和拒绝关于最佳融合方法的假设。当有限数量的传感器模式用于相对简单的领域时，如识别简单的人类活动(sha)，这种方法可以很好地工作。当语法面部表情识别等更复杂的领域需要额外的传感器时，可以通过在统计签名数据集阶段添加“泛化步骤”来获得改进的结果(图1)．泛化步骤集成不同领域数据集的统计特征，产生更大的广义元数据集，可以支持更复杂和强大的传感器融合活动。
在传感器融合中使用了计算算法，以获取各种传感器输入，并产生一个比来自单个传感器的数据更准确和有用的组合结果。算法可以连接在一起，以提供连续细化的结果。传感器融合算法具有共同特征，可能包括:
平滑使用多个测量值来估计一个变量的值，例如离线或实时的全球定位卫星(GPS)定位。
过滤使用当前和过去的测量值实时确定变量(如速度)的状态。
预测状态估计实时分析先前测量的变量，如方向和速度，以预测当前或未来的状态，如GPS位置。
卡尔曼滤波器
卡尔曼滤波是线性二次估计的一种形式，是常用的传感器融合算法。它递归地运行，只需要当前传感器测量值、最近的估计状态和已知的不确定性。除了传感器融合，卡尔曼滤波也是一些ML算法的基础。卡尔曼滤波分为两个步骤:
- 预测估计当前的状态变量和不确定性，如环境和其他影响传感器测量的因素。
- 当滤波器更新估计状态时，根据下一组传感器测量进行更新，使用计算的不确定性对估计进行权衡。
传感器融合开发人员可以使用卡尔曼滤波器从具有固有不确定性的情况中获得相对准确的信息，并减少偏差、噪声和累积误差。卡尔曼滤波器用于运动控制应用，当来自主要来源(如GPS信号)的数据不可用时，利用历史数据和辅助传感器(如加速度计和陀螺仪)估计随时间的位置。卡尔曼滤波器在移动机器人、无人机和其他工业4.0系统中很常见。
工业4.0和物联网的传感器融合平台
随着工业4.0系统中传感器数量的增加，对传感器融合的需求也在不断增长，以理解这些传感器产生的海量数据。供应商正在以集成传感器融合设备作为回应。例如，智能状态监测箱可用于基于融合来自振动、声音、温度和磁场传感器的数据的机器状态监测。还可以添加用于监测加速度、转速、冲击和振动的附加传感器模式。
该系统通过AI算法实现传感器融合，对异常工况进行粒度更好的分类，实现高概率决策(图2)．这种边缘AI架构可以简化处理传感器融合产生的大数据，确保只有最相关的数据被发送到边缘AI处理器或云端进行进一步分析，并可能用于训练ML算法。
使用AI/ML有以下几个好处:
- AI算法可以采用传感器融合，使用来自一个传感器的数据来补偿来自其他传感器的数据的弱点。
- 人工智能算法可以对每个传感器与特定任务的相关性进行分类，并最小化或忽略来自被确定为不那么重要的传感器的数据。
- 通过在边缘或云中的持续训练，AI/ML算法可以学会识别以前未被识别的系统行为的变化。
- AI算法可以预测可能的故障来源，实现预防性维护，提高整体生产力。
传感器融合套件也可用于物联网应用。一些设计遵循Adafruit“羽毛”规范。它是基于“Adafruit Feather生态系统”的一个板规范部分。它包括两个小电路板，一个控制器“羽毛”和一个传感器融合“羽毛翼”，堆叠在羽毛的顶部(图3)．该翼包含一个高精度气压传感器、一个高信噪比MEMS传声器、一个惯性测量单元(IMU)和一个微控制器。微控制器具有边缘人工智能能力，可以通过本地传感器融合算法处理麦克风和其他传感器数据，从而触发通知或报警。
安装了FreeRTOS固件的Feather控制器可以作为物联网控制器，与Wing连接Wi-Fi/蓝牙，因此可以将来自Wing的预处理或原始传感器数据上传到AWS Cloud进行进一步处理。
雷达+相机数据传感器融合套件
先进驾驶辅助系统(ADAS)、自动驾驶汽车、智能零售、工业4.0、机器人、智能建筑和智慧城市应用的开发人员可以求助于基于系统模块(SoM)的ai支持的传感器融合套件(AI-SFK)，该套件将来自摄像头和毫米波雷达的数据融合在一起，用于深度学习和视频分析(图4)．摄像机数据与毫米波雷达数据互补，可实时支持目标检测、分类、距离、速度等参数。雷达工作在77 GHz, 8 MP, 4 K彩色相机可以提供高达21帧每秒。
这种AI-SFK可以显著减少开发时间。它有并排的面板，显示一个面板上的雷达传感器探测到的物体和另一个面板上相同位置的摄像头捕捉到的视频。它支持多种标准硬件接口，如CAN和USB，简化了该SFK与整个系统开发环境的集成。
可用的AI库包括计算机视觉、图形和多媒体应用程序。该套件可以包含额外的传感器模式，如热成像和激光雷达，并通过附加的机器学习和深度学习算法进行扩展。
总结
传感器融合与AI/ML相结合产生了一个强大的工具，可在使用各种传感器模式时最大化效益。AI/ML增强的传感器融合可以应用于系统中的多个级别，包括数据级别、融合级别和决策级别。传感器融合实现的基本功能包括平滑和滤波传感器数据以及预测传感器和系统状态。设计师有各种传感器融合套件和平台，可用于加速传感器融合系统的开发，跨越一系列应用，包括工业4.0、物联网、汽车、图像处理等。
参考文献
支持人工智能的传感器融合套件,无效审判解决方案
选择最佳传感器融合方法:一种机器学习方法MDPI传感器
基于AI算法的嵌入式传感器平台——从大数据到智能数据的局部化模拟设备
传感器融合和人工智能套件, Ainstein
传感器融合开发工具包:从FreeRTOS开始, Flex
了下:传感器提示
