英伟达机器人实验室的首席执行官黄仁勋(左)和机器人研究高级总监迪特尔·福克斯。
机器人报告名叫英伟达2019年必须观看机器人公司由于其新的Jetson Agx Xavier模块，它希望成为下一代机器人的转向大脑。现在有更多的原因来关注NVIDIA的机器人动作：加利福尼亚州圣克拉拉的Charmaker刚刚开设了第一个全面的机器人研究实验室。
Nvidia的机器人实验室距离华盛顿大学的西雅图仅有很短的步行路程，任务是推动突破性的研究，以使下一代合作机器人能够在人们中稳健而安全地运营。NVIDIA的机器人实验室由Dieter Fox领导，NVIDIA和UW Paul G.艾伦科科学和工程学院教授。
“所有这一切都在努力实现下一代智能机械手，这些智能机械手也可以在不结束的环境中运行，而不是一切都专门为它们设计，”福克斯说。“通过拉动最近的感知，控制，学习和仿真的进步，我们可以帮助研究界解决机器人中的一些最大挑战。”
13,000平方英尺的实验室将成为50个机器人，由20名NVIDIA研究人员组成，包括来自世界各地的访问教师和实习生。Nvidia希望机器人能够自然地在现实世界，非结构化环境中与人们一起执行任务。为此，机器人需要能够理解一个人想要做什么并弄清楚如何帮助实现目标。
NVIDIA的机器人实验室的想法在2017年夏季来到夏威夷。福克斯和Nvidia首席执行官Jensen Huang在CVPR，一年一度的计算机愿景会议上举行，并讨论了机器人学中令人兴奋的地区和难题。
“Nvidia致力于解决计算可以解决的非常困难的挑战。机器人无法毫无疑问地是人工智能的最终前沿之一。它需要这么多类型的技术的融合，“黄告诉了机器人报告．“我们想为机器人领域做出贡献。在这个过程中，它将衍生出各种伟大的计算机科学和人工智能知识。我们真的希望这项技术能够让医疗、制造、运输和物流等行业取得巨大进步。”
NVIDIA表示，目前有十几个项目，NVIDIA将开展其研究论文。福克斯说，NVIDIA主要感兴趣，至少至少在与机器人社区分享其软件开发时。“你在厨房演示中看到的一些核心技术将被包裹成真正强大的组件，”福克斯说。
我们参加了英伟达机器人研究实验室的正式开业仪式。让我们来看看里面。
移动操纵器在厨房里
英伟达的移动机械手包括一个在赛格威rmp210 UGV上的Franka Emika Panda合作机器人。（信用：nvidia）
NVIDIA的机器人实验室内的主要测试区是宜家购买的厨房。一个移动操纵器，由弗兰卡·埃米瓦熊猫Cobot Arm坐落在Segway 210 UGV，将在越来越困难的任务中尝试，从检索橱柜中的物体到学习如何清洁餐桌来帮助一个人煮一顿饭。
在开屋过程中，移动机械手不断地抓取物体并将其放入抽屉中，用其夹持器打开和关闭抽屉。福克斯承认第一个任务有点简单。该机器人使用深度学习来检测特定对象，完全基于自己的模拟，不需要任何人工数据标记。机器人使用NVIDIA Jetson平台进行导航，并在NVIDIA TITAN gpu上进行实时推理处理和操作。基于深度学习的感知系统使用cudnn加速的PyTorch深度学习框架进行训练。
福克斯还明确了英伟达选择在厨房测试移动机械手的原因。福克斯说:“我们之所以选择厨房，并不是因为我们认为厨房将成为家庭中的杀手级应用。”“它实际上只是这些其他领域的替代品。”厨房是一个结构化的环境，但福克斯表示，在更复杂的任务中引入新变量很容易，比如处理未知物体或帮助做饭的人。”
深度对象姿态估计
NVIDIA深对象姿势估计（涂料）系统。（信用：nvidia）
NVIDIA于2018年10月推出其深度对象姿态估计（涂料）系统，并在西雅图展示。利用NVIDIA的算法和单个图像，机器人可以推断对象的3D姿势以抓握和操作。涂料仅在合成数据上培训。
合成数据的关键挑战之一是能够弥合现实差距，使得在合成数据上培训的网络与真实世界数据正常运行。NVIDIA表示，它的一击深神经网络尽管有限的基础，已经实现了这一点。该系统分两步接近其掌握。首先，深神经网络估计图像坐标系中所有对象的2D关节点的信仰图。接下来，将来自这些信仰图的峰值馈送到标准透视图-N点（PNP）算法以估计每个对象实例的6-DOF姿势。
阅读我们对NVIDIA主要研究科学家斯坦比亚菲尔德的涂料系统的采访，在这里．
触觉传感
NVIDIA有两个演示展示触觉感应，这是商业化机器人夹具的缺失元素。一位演示专用于最近的Righthand Robotics的Reflex Takktile 2夹具，最近为其采摘技术筹集了2300万美元．ReFlex TakkTile 2是一款与ros兼容的三指机器人夹持器。夹持器有三个弯曲自由度和一个耦合旋转自由度。传感功能包括正常压力传感器、旋转近端关节编码器和指尖imu。
另一个演示由NVIDIA高级机器人研究员Karl Van Wyk经营，精选Syntouch触觉传感器，从韩国的Wonik机器人和Kuka LBR IIWA COBOT上改装到Allegro机器人手上。“这几乎感觉像宠物！”当他轻轻触动机器人手指时说黄说，导致他们拉回来。“令人惊讶的是治疗。我可以有一个吗？“
Van Wyk说触觉传感器已经开始走出实验室进入现实世界。“要让它们在现实世界站稳脚跟，还需要进行很多强化和整合，但我们在这方面正在取得很大进展。我们生活的世界是为我们而设计的，而不是为机器人。”
库卡LBR iiwa没有使用任何视觉来感知它的环境。“机器人看不到我们在它周围，但我们希望它能不断感知周围的环境并做出反应。手臂的所有关节都有扭矩感应，所以它能感觉到我在推它，并做出反应。它不需要看到我才会对我做出反应。
“我们有一个16电机的手，有三个主要手指和一个对手拇指，所以它就像我们的手。您想要更复杂的夹具的原因是您希望最终能够每天按照我们的方式操纵手中的物体。它非常有用，并使物理任务更有效。Syntouch传感器测量我们触摸和操纵某些东西时发生了什么。键入这些传感器对控制很重要。如果我们能感受到对象，我们可以重新调整握把和手指位置。“
人体机器人互动
Huang测试一个控制系统，使机器人能够模仿人类运动。（信用：nvidia）
另一个有趣的演示是Nvidia的“Proprioception机器人”，这是Madeline Gannon博士的工作，一个多学科设计师绰号为“机器人悄悄话者”，谁是发明与机器人通信的更好方法。在机器人下面的地板上使用双臂ABB Yumi和Microsoft Kinect，系统将模仿人类前面的人类的运动。
“与Yumi，你不需要一个机器人来编程机器人。使用NVIDIA的动作生成算法，我们可以使用栩栩如生的机器人参与体验。“
您可能听说过2018年9月在世界经济论坛上的最新工作。她安装了10个工业机器人武器连续，通过中央控制器将它们链接到单个。他们在机器人的基础上使用深度传感器，他们跟踪并响应了通过的人的运动。
黄说:“在研发通用人工智能机器人的过程中，我们可以衍生出很多有趣的东西。”“例如，很有可能在不久的将来，你身边会有‘外骨骼’，无论是外骨骼，还是帮助残疾人的外骨骼，或帮助我们变得比自己更强大的外骨骼。”
提交：AI•机器学习那机器人报告那机器人•机器人夹具•终点效果那传感器(压力)
告诉我们你的想法！