莱斯大学(Rice University)的研究人员开发出了一款适合信息过载时代的应用:一款能看到所有信息、只记得它应该记住的东西的应用。
赖斯大学高效计算小组今天在韩国首尔举行的国际计算机体系结构研讨会(ISCA 2016)上公布了一项新技术——红眼(RedEye),该技术可以为计算机提供持续的视觉——这是让设备看到其所有者所看到的内容并跟踪他们需要记住的内容的第一步。
“这个概念是让我们的电脑通过向它们展示我们一天中看到的东西来帮助我们,”组长林忠说,他是莱斯大学电气和计算机工程教授,也是一项关于红眼的新研究的合著者。“这就像有一个私人助理,可以记住你见过的人,你在哪里见过他们,他们告诉你什么,以及价格、日期和时间等其他具体信息。”
钟说,红眼是计算行业正在开发的一种技术,用于可穿戴、免提、永远在线的设备,旨在为人们的日常生活提供支持。这种趋势有时被称为“普适计算”或“环境智能”,其核心是能够识别甚至预测人们的需求并立即提供的技术。
“普及计算运动预示着个人助理设备的出现,它几乎在我们生活的每时每刻都在大大小小的方面帮助我们,”钟说。“但这项技术的一个关键因素是让我们的设备看到我们所看到的,听到我们所听到的。嗅觉、味觉和触觉可能会晚一些出现,但视觉和声音将是最初的感官输入。”
钟说,持续视觉的瓶颈是能源消耗,因为目前最好的智能手机摄像头虽然相对便宜,但都是电池杀手,尤其是在处理实时视频时。
钟和前莱斯大学研究生Robert LiKamWa在2012年夏天开始研究这个问题,当时他们在华盛顿州雷德蒙德的微软研究院移动和网络研究小组工作。,与小组主管、微软杰出科学家维克多·巴尔(Victor Bahl)合作。LiKamWa表示,该团队测量了市面上可用的现成图像传感器的能量曲线,并确定现有技术需要将持续视觉的能源效率提高约100倍,才能在商业上可行。这就是LiKamWa博士论文背后的动机,该论文旨在为高效的计算机视觉提供软件和硬件支持。
一年后,在一篇获奖论文中,LiKamWa、Zhong、Bahl及其同事展示了他们可以通过软件优化将现有图像传感器的功耗提高十倍。
LiKamWa说:“红眼在此基础上发展起来,因为我们仍然需要在能源效率上再提高十倍,我们知道我们需要重新设计硬件和软件来实现这一目标。”
他说,能源瓶颈是图像从模拟格式到数字格式的转换。
他说:“现实世界的信号都是模拟信号,将它们转换成数字信号在能量方面是昂贵的。”“通过这种转换可以节省多少能源是有物理限制的。我们认为,更好的选择可能是在信号还是模拟信号时进行分析。”
LiKamWa说,处理模拟信号的主要缺点是模拟信号本身就有噪声,这也是目前大多数图像处理系统将数字转换作为标准第一步的原因。为了让红眼对设备制造商有吸引力,该团队需要证明它可以可靠地解释模拟信号。
他说:“我们需要证明,我们可以分辨猫和狗,或者分辨桌子和椅子。”
莱斯大学研究生侯云辉(Yunhui Hou)、本科生米亚·波兰斯基(Mia Polansky)和高元(Yuan Gao)也是该团队的成员,他们决定结合机器学习、系统架构和电路设计等最新技术来解决这个问题。在机器学习方面,红眼公司使用了一种名为“卷积神经网络”的技术,这是一种受到动物视觉皮层组织启发的算法结构。
LiKamWa表示,侯孝贤带来了与系统架构电路设计相关的新想法,这是基于他之前在香港科技大学使用被称为模数转换器的专业处理器的经验。
LiKamWa说:“我们在架构和电路设计方面相互交换想法,我们开始了解进行早期处理的可能性,以便收集模拟领域的关键信息。”
他说:“传统的系统通过模数转换器提取整个图像,并对数字文件进行图像处理。”“如果你可以将这种处理转移到模拟领域,那么你需要通过ADC瓶颈的数据带宽就会小得多。”
LiKamWa表示,卷积神经网络是执行物体识别的最先进的方法,这些技术与模拟域处理的结合为红眼提供了一些独特的隐私优势。
他说:“结果是,我们可以识别物体,比如猫、狗、钥匙、电话、电脑、面孔等,而不用真正看图像本身。”“我们只是在观察视觉传感器的模拟输出。我们可以在没有实际图像的情况下了解那里有什么。这提高了能源效率,因为我们可以选择只对值得花费精力创建的图像进行数字化。它还可能有助于保护隐私,因为我们可以定义一组规则,系统将在完成处理后自动丢弃原始图像。这个图像将永远无法恢复。所以,如果有用户不想记录的时间、地点或特定物体,也不想让系统记住,我们应该设计一种机制,确保这些东西的照片从一开始就不会被创建。”
钟说,红眼的研究正在进行中。他说,该团队正在为红眼架构设计电路布局,可用于测试布局问题、组件不匹配、信号串扰和其他硬件问题。他说,他们还在努力提高低光环境和其他低信噪比环境下的性能。
了下:M2M(机器对机器)
