Massachusetts技术研究所的研究人员佩戴传感器包装的手套在处理各种物体时，已经编译了一个大规模的数据集，使AI系统能够单独触摸识别对象。这些信息可用于帮助机器人识别和操纵对象，以及假肢设计。
麻省理工学院研究人员开发了一种低成本的针织手套，称为“可扩展触觉手套”（Stag），配备大约550个微小的传感器，几乎整个手。每个传感器捕获压力信号，因为人类以各种方式与对象相互作用。神经网络处理信号以“学习”与特定对象相关的压力信号模式的数据集。然后，系统使用该数据集来分类对象并通过单独的感觉预测其权重，无需视觉输入。
在发表的论文中自然，研究人员描述了他们编制的数据集，他们使用Stag为26个常见物体编译 - 包括苏打水，剪刀，网球，勺子，笔和杯子。使用DataSet，系统预测对象的标识，精度高达76％。该系统还可以预测大多数物体的正确权重约60克。
今天使用的类似传感器的手套运行数千美元，并且通常只包含大约50个传感器，捕获较少的信息。尽管STAG产生了非常高分辨率的数据，但它是由商业上可用的材料制成，总计约为10美元。
改善机器人了解
触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用，以使机器人更加人性化地理解与对象相互作用。
“人类可以识别和处理物体，因为我们有触觉反馈。和我们一样触碰对象，我们感受到并意识到它们是什么。机器人没有那种丰富的反馈，“说Subramanian Sundaram.，博士。'18，MIT的前研究生计算机科学与人工智能实验室（CSAIL）。“我们一直希望机器人可以做人类可以做的事情，就像做菜或其他家务一样。如果你想要机器人来做这些事情，他们必须能够操纵物体真的很好。“
研究人员还使用该数据集来测量物体交互过程中手的区域之间的合作。例如，当有人使用其食指的中间关节时，它们很少使用拇指。但指数和中指的尖端始终对应于拇指使用情况。
“我们衡量，第一次展示，如果我正在使用我的手一部分，我有多可能使用我手中的另一部分，”Sundaram说。
假肢制造商可以使用此类数据来选择最佳斑点，以便放置压力传感器，并帮助定制假肢，以定期与之交互的任务和对象。
在纸上加入Sundaram是CSail Postdocs Petr Kellnhofer和Jun-yan Zhu;CSAIL研究生Yunzhu Li;Antonio Torralba，EECS和主任MIT-IBM Watson AI实验室;电气工程和计算机科学的副教授和威力朱克斯·莫塔基及计算制造组。
触觉地图导致掌握识别
雄鹿与导电聚合物层压，导电聚合物改变对施加压力的抗性。研究人员从导电聚合物膜中的孔缝制导电螺纹，从指尖到手掌的底部。线程以将它们转换为压力传感器的方式重叠。当有人佩戴手套时，抬起，保持和丢弃物体，传感器在每个点记录压力。
线程从手套连接到外部电路，将压力数据转换为“触觉地图”，这是基本上简短的小点的视频，其横跨手的图形缩小。该点代表压力点的位置，它们的尺寸表示力 - 圆点越大，压力越大。
从这些地图，研究人员从与26个对象的交互编译了约135,000个视频帧的数据集。这些帧可以由神经网络使用，以预测物体的身份和重量，并提供关于人类掌握的见解。
为了识别对象，研究人员设计了一种卷积神经网络（CNN），其通常用于对图像进行分类，以将特定的对象与特定对象相关联。但诀窍是从不同类型的框架选择框架掌握得到一个完整的对象的图片。
这个想法是模仿人类可以以几种不同方式持有物体的方式，以便在不使用他们的视力下识别它。同样，研究人员的CNN从视频中选择最多八个Semirandom帧，表示最具不同的掌握 - 说，从底部，顶部和手柄上握住杯子。
但是，CNN不能只选择来自每个视频中数千个的随机帧，或者它可能不会选择不同的握。相反，它将类似的帧组在一起，导致与唯一相对应的不同群集掌握。然后，它从每个集群中拉出一帧，确保它具有代表性的样本。然后，CNN使用它在训练中学习的联系模式来预测来自所选帧的对象分类。
“我们希望最大限度地提高框架之间的变化，以给出最佳输入到我们的网络，”Kellnhofer说。“单个群集中的所有帧都应具有类似的签名，表示抓住对象的类似方式。来自多个集群的抽样模拟了一个人类交互地尝试在探索对象时找到不同的掌握。“
keynotes.对于重量估计，研究人员从手指和拇指，持有并掉落的物体的触觉地图建立了一个大约11,600帧的单独数据集。值得注意的是，CNN没有接受过它测试的任何帧的培训，这意味着它无法学习与对象的重量关联。在测试中，将单帧输入到CNN中。
基本上，CNN从物体的重量引起的手周围拾取压力，并忽略由其他因素引起的压力，例如手部定位以防止物体滑动。然后它根据适当的压力来计算重量。
该系统可以与已经在机器人关节上的传感器组合，测量扭矩和力，以帮助它们更好地预测对象权重。“关节对于预测重量很重要，但是，来自指尖和我们捕获的手掌也有重要组成部分，”Sundaram说。
提交：学生计划那AI•机器学习那机器人报告那机器人•机器人夹具•终点效果那传感器（压力）
告诉我们你的想法！