打开食品杂货是一项简单而乏味的任务:你把手伸进一个袋子里,在里面摸索一件东西,然后把它拿出来。快速一瞥就会告诉你这个东西是什么,应该放在哪里。
现在,麻省理工学院(MIT)和普林斯顿大学(Princeton University)的工程师们已经开发出一种机器人系统,有朝一日,它可能会帮上忙,做家务,还能协助其他的挑选和分类工作,从仓库里整理产品到清理灾区的废墟。
该团队的“拣配”系统包括标准的工业机器人手臂,研究人员配备了定制夹具和吸盘。它们开发了一个“对象无关的”抓握算法,使机器人能够评估随机物体的箱,并确定在杂波中抓住或吸入物品的最佳方式,而不必在拾取之前了解对象。
一旦它成功掌握了一个物品,机器人就会从垃圾箱中抬起。然后,一组摄像机从各种角度拍摄对象的图像,并且在新的图像匹配算法的帮助下,机器人可以将拾取对象的图像与其他图像的库进行比较以找到最接近的匹配。以这种方式,机器人识别对象,然后在单独的箱中休息。
一般来说,机器人遵循“先抓取然后识别”的工作流程,与其他拾取和放置技术相比,这是一个有效的序列。
“这可以应用于仓库分类,但也可用于在事故发生后从厨房橱柜或清晰的碎片中挑选。沃尔特亨利·戈尔·戈尔·戈尔·戈尔·戈尔省机械工程机械工程职业发展教授Alberto Rodriguez,有很多情况会产生影响。
罗德里格斯和他在麻省理工学院和普林斯顿大学的同事将在5月的IEEE国际机器人与自动化会议上发表一篇论文,详细介绍他们的系统。
建立一个成功和失败的图书馆
虽然拾取技术可能有很多用途,但是现有系统通常设计用于仅在紧密控制的环境中起作用。
如今,大多数工业采摘机器人都是为一项特定的、重复性的任务而设计的,比如将汽车零件从装配线上抓取下来,始终保持同样的、经过仔细校准的方向。然而,Rodriguez正致力于将机器人设计成更灵活、适应性更强、更智能的拾取者,用于非结构化的环境,如零售仓库,在那里拾取者每天可能不断遇到并不得不对数百个(如果不是数千个)新物体进行分类,通常是在密集的杂乱环境中。
该团队的设计基于两个一般运营:挑选 - 成功抓住对象的行为,并感知 - 一旦掌握,识别和分类对象的能力。
研究人员训练机器人手臂从杂乱的垃圾桶中挑选出新的物体,使用四种主要抓取行为中的任何一种:垂直或从侧面吸到物体上;像街机游戏中的爪子一样垂直地抓住物体;或者,对于与墙壁平齐的物体,垂直抓住,然后使用一个灵活的刮刀在物体和墙壁之间滑动。
罗德里格斯和他的团队向机器人展示了从机器人的有利位置捕捉到的箱子里塞满物品的图像。然后,他们向机器人展示了哪些物体是可以抓取的,四种主要抓取行为中哪一种是可以抓取的,哪一种是不可抓取的,并将每个例子标记为成功或失败。他们这样做了数百个例子,随着时间的推移,研究人员建立了一个成功和失败的图书馆。然后,他们将这个库整合到一个“深度神经网络”中——这是一种学习算法,能够让机器人根据它的成功和失败库,将当前面临的问题与过去的成功结果匹配起来。
“我们开发了一个系统在哪里,只需通过查看装满物体的手提包,机器人知道如何预测哪些被抓住或可吸引,并且这些采摘行为的配置很可能是成功的,”Rodriguez说。“一旦它在夹具中,物体更容易识别,没有所有的杂乱。”
从像素到标签
研究人员以类似的方式开发了一个感知系统,使机器人能够识别并分类一个物体,一旦它被成功地抓住。
为了做到这一点,他们首先从零售商网站等在线资源中收集了一个产品图片库。他们用正确的识别标签给每幅图像贴上标签——例如,管道胶带和遮蔽胶带——然后开发了另一种学习算法,将给定图像中的像素与给定物体的正确标签联系起来。
罗德里格斯说:“我们比较的东西对人类来说可能很容易识别,但实际上,作为像素,它们看起来可能非常不同。”“我们确保这个算法对这些训练例子来说是正确的。我们希望给它足够的训练例子,当我们给它一个新物体时,它也能预测出正确的标签。”
去年7月,该团队打包了这个2吨重的机器人,并把它运到了日本。一个月后,他们在那里重新组装了它,准备参加亚马逊机器人挑战赛该竞赛由在线零售商沃尔玛赞助,旨在鼓励仓库技术创新。罗德里格斯的队伍是参加比赛的16人之一,他们要从一个杂乱的垃圾箱中捡起并整理物品。
最后,团队的机器人在采摘物体使用吸力时有54%的成功率,并使用抓握率为75%的成功率,并能够识别100%准确度的新型物体。机器人还在分配的时间内设有20个对象。
由于他的工作,罗德里格斯最近被授予了亚马逊研究奖,并将与该公司合作进一步改进拾取和放置技术——最重要的是,它的速度和反应性。
罗德里格斯说:“除非你增加某种程度的反应能力,否则在非结构化环境中挑选工作并不可靠。”“当人类采摘时,我们在采摘的过程中会做一些小的调整。我认为,弄清楚如何进行更灵敏的挑选,是我们感兴趣的关键技术之一。”
该团队通过将触觉传感器添加到机器人的夹具并通过新的培训制度运行系统来迈出一些步骤。
“夹持器现在有触觉传感器,我们已经实现了一个系统,机器人一整天都在从一个地方到另一个地方连续拾取东西。它会捕捉到一些信息,比如什么时候成功了,什么时候失败了,拿起东西是什么感觉,或者拿不起来是什么感觉,”罗德里格斯说。“希望它能利用这些信息,开始将这种反应性带入抓取。”
该研究得到了ABB公司、Mathworks和亚马逊的部分资助。
提交:工业自动化




