设计世界

  • 家
  • 文章
    • 三维CAD
    • 电子•电气
    • 紧固和连接
    • 工厂自动化
    • 直线运动
    • 运动控制
    • 测试和测量
    • 传感器
  • 三维CAD模型
    • 零件库
    • 追踪零件
  • 领导力
    • 2020赢家
    • 2019年获奖者
    • 飞跃奖
  • 资源
    • 订阅
    • 数字问题
      • EE世界数字问题
    • 设计工程的未来
    • 飞跃奖
    • MC²运动控制教室
    • 运动设计指南库
    • 播客
    • 供应商
    • 网络研讨会
  • 工程女性
  • 电子书/技术提示
  • 视频
  • 2019冠状病毒疾病

机器人通过观看视频来学习

由康奈尔大学|2015年12月21日

分享

当你雇佣新员工时,你可以让他们坐下来看一段关于如何做这项工作的教学视频。当你买一个新机器人时会发生什么?

康奈尔大学的研究人员正在教机器人看教学视频,并得出一系列执行任务的分步指令。你甚至不需要打开DVD播放器;这个机器人可以在YouTube上找到它需要的东西。这项工作的目标是,将来我们可能会有“个人机器人”来完成日常家务——做饭、洗碗、洗衣、喂猫——以及帮助老人和残疾人。

研究人员称他们的项目为“RoboWatch”,部分原因是大多数操作视频都有一个共同的底层结构。而且,有大量可用的原始资料。YouTube提供了18万个关于“如何做煎蛋饼”的视频和28.1万个关于“如何打领结”的视频。通过在同一个任务中扫描多个视频,一台计算机可以找到它们的共同点,并用自然语言将其简化为简单的分步指令。

为什么人们要发布这些视频?”研究生Ozan Sener说,他是12月16日在智利圣地亚哥举行的计算机视觉国际会议上发表的一篇关于视频解析方法的论文的主要作者。塞纳与斯坦福大学的同事合作,他目前是一位访问研究员。

塞纳指出,他们系统的一个关键特点是“无监督”。在以前的大多数工作中,机器人学习是通过让人解释机器人观察到的东西来完成的——例如,教机器人识别物体,方法是给它看物体的图片,而人则给它们贴上名字标签。在这里,一个有工作要做的机器人可以查找指令并自己找出它们。

面对一项陌生的任务,机器人的电脑大脑首先会向YouTube发送一个查询,以找到一组关于该主题的操作视频。该算法包括省略“异常值”的例程,即符合关键字但不具有指导意义的视频;例如,一个关于烹饪的问题,可能会带来动画特写Ratatoullie的片段,厨房用具的广告或者一些老式的三个臭小子的惯例。

电脑逐帧扫描视频,寻找经常出现的物体,并阅读伴随的旁白——使用字幕——寻找经常重复的单词。使用这些标记,它匹配不同视频中相似的片段,并将它们排列成一个序列。从该序列的副标题可以产生书面指令。在其他研究中,机器人已经学会了通过听人类的口头指令来执行任务。将来,维基百科等其他来源的信息可能会被添加进来。

从YouTube视频中学习到的知识可以通过RoboBrain获得,RoboBrain是一个在线知识库,任何地方的机器人都可以咨询帮助他们完成工作。


申请依据:M2M(机器对机器)


相关文章阅读更多>

第6部分:用于连接和物联网设计工作的IDE和其他软件
第4部分:工业机械的边缘计算和网关激增
第3部分:以太网、PoE、IO链路、HIPERFACE和单电缆解决方案的趋势
传感器的机器学习

运动设计指南

“运动

Enews注册

运动控制教室

设计世界数字版

盖

浏览最新版本以易于使用的高质量格式设计世界和背面问题。剪辑,分享和下载与领先的设计工程杂志今天。

电子论坛董事会

全球顶级问题解决EE论坛,涵盖微控制器、DSP、网络、模拟和数字设计、射频、电力电子、PCB布线等

电子论坛

赞助内容

  • 使用超宽带的创新方法和入门所需的知识
  • HELUKABEL PVC控制和电机电缆获得ECOLAB认证
  • 电子阀技术
  • 特殊环:自锁,平衡,ID/OD锁
  • 五个理由:2065连接器是手动焊接的可靠替代品
  • 钻机OEM受益于采用边缘计算技术的PLC:IIoT案例研究
工程交换

工程交流是一个全球性的工程师教育网络社区。

今天就联系、分享和学习»

@DesignWorld的推文
设计世界
  • 广告
  • 关于我们
  • 联系人
  • 管理Design World订阅
  • 订阅
  • 设计世界数字网络
  • 工程白皮书
  • 飞跃奖

版权所有©2021 WTWH Media LLC。保留所有权利。未经WTWH Media事先书面许可,不得复制、分发、传输、缓存或以其他方式使用本网站上的资料
隐私政策|广告|关于我们

搜索设计世界

  • 家
  • 文章
    • 三维CAD
    • 电子•电气
    • 紧固和连接
    • 工厂自动化
    • 直线运动
    • 运动控制
    • 测试和测量
    • 传感器
  • 三维CAD模型
    • 零件库
    • 追踪零件
  • 领导力
    • 2020赢家
    • 2019年获奖者
    • 飞跃奖
  • 资源
    • 订阅
    • 数字问题
      • EE世界数字问题
    • 设计工程的未来
    • 飞跃奖
    • MC²运动控制教室
    • 运动设计指南库
    • 播客
    • 供应商
    • 网络研讨会
  • 工程女性
  • 电子书/技术提示
  • 视频
  • 2019冠状病毒疾病
我们使用cookies来个性化内容和广告,提供社交媒体功能和分析我们的流量。我们还与我们的社交媒体、广告和分析合作伙伴分享有关您使用我们网站的信息,这些合作伙伴可能会将这些信息与您提供给他们的其他信息或他们从您使用他们的服务中收集的信息相结合。如果您继续使用本网站,您同意使用我们的cookies。 好的不阅读更多