斯坦福大学和加州大学圣地亚哥分校的工程师们开发了一种生成四维图像的照相机可以获取138度的信息。这种新型相机是有史以来第一个单镜头、宽视场、光场相机,它可以生成信息丰富的图像和视频帧,使机器人能够更好地导航世界,并了解环境的某些方面,如物体距离和表面纹理。
研究人员还发现,这项技术正在用于自动驾驶车辆以及增强和虚拟现实技术。研究人员在2017年7月的计算机视觉会议CVPR上介绍了他们的新技术。
“我们想考虑什么样的摄像头适合驾驶或空运包裹的机器人。我们很擅长为人类制造相机,但机器人需要像人类一样看东西吗?可能不会,”斯坦福大学电气工程博士后、论文第一作者唐纳德·丹瑟罗(Donald Dansereau)说。
该项目是斯坦福大学电气工程教授戈登·韦茨斯坦(Gordon Wetzstein)和加州大学圣地亚哥分校(UC San Diego)约瑟夫·福特(Joseph Ford)实验室的合作项目。
加州大学圣地亚哥分校的研究人员设计了一种球形镜头,为相机提供了极宽的视野,覆盖了相机周围近三分之一的圆圈。福特的团队此前在美国国防部高级研究计划局的“SCENICC”(士兵中心成像与计算相机)项目下开发了球形镜头,以构建一个紧凑的视频摄像机,可以捕捉360度高分辨率的图像,每个视频帧有1.25亿像素。在该项目中,摄像机使用光纤束将球形图像耦合到传统的平面焦平面上,提供了高性能,但成本很高。
新相机采用了一种球形透镜,通过透镜和数字信号处理的结合消除了光纤束。结合福特实验室的光学设计和系统集成硬件专业知识,以及Wetzstein实验室的信号处理和算法专业知识,形成了ot只会创建这些超宽图像,但会增强它们。
这种新型摄像机还依赖于斯坦福大学开发的一种称为光场摄影,这是什么增加了一个第四维度的相机它捕获的两个轴方向的光线击中镜头,并结合该信息与2-D图像。光场摄影的另一个值得注意的特点是,它允许用户在拍摄图像后重新聚焦,因为图像包含有关光线位置和方向的信息。机器人可以利用这项技术看透雨水和其他可能模糊他们视力的东西。
福特说:“当你使用全向相机时,你会意识到一件事,那就是不可能一次对所有方向聚焦——有些东西总是离相机很近,而有些东西却很远。”“光场成像允许捕获的视频在重放期间重新聚焦,以及场景的单光圈深度映射。这些能力开启了VR和机器人领域的各种应用。”
“它可以使各种类型的人工智能技术了解物体有多远,它们是否在移动,以及它们是由什么组成的,”Wetzstein说。“在空间有限、希望计算机了解周围整个世界的任何情况下,这个系统都很有用。”
虽然这种相机可以像传统相机一样在远距离工作,但它也被设计用于改善特写图像。它特别有用的例子包括必须在小范围内导航的机器人、着陆无人机和自动驾驶汽车。作为增强或虚拟现实系统的一部分,它的深度信息可以恢复ult可以更无缝地渲染真实场景,并支持这些场景和虚拟组件之间的更好集成。
这个照相机目前正处于概念验证阶段,团队正计划创建一个小型原型,在机器人上进行测试。
根据以下文件提交:汽车,M2M(机器对机器),虚拟现实




