让机器人更好地对物体操纵感

由麻省理工学院研究人员开发的新学习系统将机器人能力提高到塑造材料中的模塑材料，并对与固体物体和液体相互作用进行预测。该系统称为基于学习的粒子模拟器，可以为工业机器人提供更精致的触摸 - 并且它可能在个人机器人中具有有趣的应用，例如塑料形状或卷粘粘米为寿司。

在机器人规划中，物理模拟器是捕捉不同材料对力的反应的模型。机器人使用这些模型进行“训练”，以预测它们与物体交互的结果，比如推一个实心盒子或戳出可变形的粘土。但是传统的基于学习的模拟器主要集中在刚性物体上，不能处理流体或软物体。一些更精确的基于物理的模拟器可以处理不同的材料，但严重依赖于近似技术，当机器人与现实世界中的物体交互时，会引入错误。

在5月在国际学习陈述会议上提出的论文中，研究人员描述了一种新型，可以学习捕捉不同材料的一部分的小部分 - “粒子” - 当它们被戳和刺激时互动。该模型在运动的底层物理学不确定或未知的情况下直接从数据中学习。然后，机器人可以使用该模型作为预测液体以及刚性和可变形材料的指南，以及触摸的力反应。当机器人处理对象时，该模型也有助于进一步改进机器人的控制。

在实验中，具有两个手指的机器人手，称为“稻草”，将可变形的泡沫精确地形状到所需的构型 - 例如“T”形状 - 用作寿司米的代理。简而言之，研究人员的模型用作一种“直观物理学”大脑，机器人可以利用，以便类似地重建三维物体，与人类如何做。

“人类在我们的头上有一个直觉的物理模型，在那里我们可以想象如果我们推动或挤压它是如何表现的。基于这一直观的模型，人类可以实现远远超出当前机器人的惊人的操作任务，“计算机科学和人工智能实验室（CSAIL）的研究生云珠李先生说。“我们希望为机器人建立这种直观的模型，使他们能够做人类能做的事情。”

“当儿童5个月大时，他们对固体和液体有不同的期望，”CSAIL研究生Jiaunu吴嘉君武装“加入了佳器。“这是我们在早期时所知的东西，所以也许这是我们应该尝试为机器人建模的东西。”

加入李和吴本文是：Russ Tedrake，CSAIL研究人员和电气工程系和计算机科学系教授（EECS）;Joshua Tenenbaum是大脑和认知科学系教授以及CSAIL和脑部，思想和机器中心（CBMM）;Antonio Torralba是一名EECS教授和麻省理工学院IBM Watson AI实验室主任。

由麻省理工学院开发的一个新的“粒子模拟器”将机器人能力改善为模拟靶形状的模塑材料，并与固体物体和液体相互作用。这可以为机器人提供一种用于工业应用的精致触摸或个人机器人。|信用：麻省理工学院

动态图形

模型背后的关键创新，称为“粒子交互网络”（DPI-Net），正在创建动态交互图，该图组成了数千个节点和边缘，可以捕获所谓的粒子的复杂行为。在图形中，每个节点表示粒子。相邻节点使用定向边缘彼此连接，其表示从一个粒子传递到另一个粒子的交互。在模拟器中，颗粒是数百个小球体组合以构成一些液体或可变形物体。

该图是构造为称为图形神经网络的机器学习系统的基础。在培训中，模型随着时间的推移，了解不同材料中的粒子是如何反应和重塑的。它通过隐含地计算每个颗粒的各种性质 - 例如其质量和弹性 - 以预测粒子在扰动时颗粒在图中移动的若据。

然后，该模型利用“传播”技术，在整个图表中瞬间传播信号。研究人员为每种类型的材料(刚性、可变形和液体)定制了这种技术，以发射一个信号，预测粒子在特定增量时间步长的位置。在每一步中，如果需要，它会移动并重新连接粒子。

例如，如果推动固体盒，则会向前移动垂直的颗粒。因为盒内内的所有颗粒彼此刚性连接，所以物体中的每个其他颗粒移动相同的计算距离，旋转和任何其他尺寸。粒子连接保持完整，盒子作为单个单元移动。但如果缩进可变形泡沫的区域，则效果将是不同的。扰动的颗粒向前移动了很多，周围的颗粒仅稍微向前移动，并且远离更远的颗粒根本不会移动。液体在杯子中粘在杯子周围，颗粒可以从图的一端完全跳到另一端。该图必须学习预测所有受影响的粒子移动的地点以及多少，这是计算方式复杂的。

塑造和适应

在他们的论文中在美国，研究人员演示了这个模型，他们让两个手指的RiceGrip机器人从可变形的泡沫材料中夹出目标形状。该机器人首先使用深度感应摄像机和物体识别技术来识别泡沫。研究人员随机选择感知形状内的粒子来初始化粒子的位置。然后，该模型添加粒子之间的边，并将泡沫重建为可变形材料定制的动态图。

由于学习了模拟，机器人已经很好地知道，在给定一定的力的情况下，每次触摸将如何影响图中的每个粒子。当机器人开始缩进泡沫时，它会迭代地将粒子的真实位置匹配到粒子的目标位置。每当粒子没有对齐时，它就会向模型发送一个错误信号。这个信号会调整模型，使其更好地与材料的真实物理特性相匹配。

接下来，研究人员旨在改进模型，以帮助机器人更好地预测与部分可观察的场景的交互，例如了解当推动时堆箱的移动方式是如何移动的，即使只有表面上的盒子是可见的，而且大多数其他盒子也是如此隐。

研究人员还探索了通过直接在图像上操作的端到端感知模块将模型与端到端感知模块组合的方法。这将是丹尼斯集团的联合项目;Yamin最近在麻省理工学院完成了他的博士后，现在是斯坦福大学的助理教授。“你一直在处理这些案例，只有部分信息，”吴说。“我们正在扩展我们的模型来学习所有粒子的动态，同时只看到一小部分。”

编辑注意：本文允许允许麻省理工学院新闻。