麻省理工学院的研究人员开发了一种新型的“光子”芯片,它使用光代替电,而且在这个过程中消耗的能量相对较少。该芯片可以用来处理大规模的神经网络,其效率比今天的经典计算机高数百万倍。
神经网络是机器学习模型,广泛用于机器人对象识别,自然语言处理,药物开发,医学成像和供电无人驾驶汽车。使用光学现象来加速计算的新型光学神经网络可以比其电力对应物更快更高且更高效地运行。
但是随着传统神经网络和光神经网络变得越来越复杂,它们消耗了大量的能量。为了解决这个问题,研究人员和包括谷歌、IBM和特斯拉在内的主要科技公司开发了“人工智能加速器”,这是一种专门的芯片,可以提高训练和测试神经网络的速度和效率。
对于电子芯片,包括大多数人工智能加速器,都有一个理论上的能量消耗最低限度。最近,麻省理工学院的研究人员开始为光学神经网络开发光子加速器。这些芯片的效率提高了几个数量级,但它们依赖于一些体积庞大的光学元件,这限制了它们只能使用相对较小的神经网络。
在一个纸发表在物理评论X,麻省理工学院研究人员描述了一种新的光子加速器,使用更紧凑的光学元件和光信号处理技术,从而大大减少功耗和芯片区域。这允许芯片缩放到神经网络的数量级大于其对应物。
在MNIST图像分类数据集上对神经网络进行模拟训练,结果表明,该加速器理论上可以处理神经网络的能耗比传统电加速器的能耗限值低1000多万倍,比光子加速器的能耗限值低1000多倍。研究人员目前正在研制芯片原型,以实验证明这一结果。
电子研究实验室的一名博士后Ryan Hamerly说:“人们正在寻找一种能够超越能源消耗基本限度的计算技术。”“光子加速器很有前景……但我们的动机是建造一个可以放大到大型神经网络的(光子加速器)。”
这种技术的实际应用包括降低数据中心的能量消耗。“对于运行大型神经网络的数据中心,对数据中心的需求越来越大,随着需求的增长,它变得越来越难以计算,”电子研究实验室研究生的研究生亚历山大·米兰目的是“满足神经网络硬件的计算需求......以解决能量消耗和延迟的瓶颈。”
加入沉思和哈默地在论文中:联合作者Liane Bernstein,RLE研究生;Marin soljacic,物理学教授;和Dirk Englund,电气工程和计算机科学的麻省理工学院副教授,RLE的研究员,以及量子光子实验室的负责人。
紧凑的设计
神经网络通过许多计算层处理数据,这些计算层包含相互连接的节点,称为“神经元”,以发现数据中的模式。神经元从它们的上游邻居那里接收输入,然后计算出输出信号,再发送给下游的神经元。每个输入也被分配一个“权重”,一个基于其相对于所有其他输入的重要性的值。随着数据层层“深入”传播,网络学习的信息也越来越复杂。最后,输出层根据整个层的计算生成预测。
所有人工智能加速器的目标都是在神经网络的特定线性代数步骤(称为“矩阵乘法”)中,减少处理和移动数据所需的能量。在那里,神经元和权值被编码到独立的行和列表中,然后组合起来计算输出。
在传统的光子加速器中,脉冲激光编码了一个层中每个神经元的信息,然后流入波导并通过分束器。产生的光信号被输入一个正方形光学元件的网格,称为“马赫-曾德干涉仪”,它被编程来执行矩阵乘法。干涉仪用每个重量的信息进行编码,使用信号干涉技术处理光信号和重量值,从而计算出每个神经元的输出。但有一个缩放问题:对于每个神经元必须有一个波导,对于每个权重,必须有一个干涉仪。因为权重的数量与神经元的数量成平方,这些干涉仪占用了大量的空间。
“你很快意识到输入神经元的数量不可能超过100个左右,因为你无法在芯片上安装那么多组件,”Hamerly说。“如果你的光子加速器每层不能处理超过100个神经元,那么就很难在这种架构中实现大型神经网络。”
研究人员的芯片依赖于一种更紧凑、更节能的“光电”方案,该方案用光信号编码数据,但使用“平衡零差检测”进行矩阵乘法。这是一种在计算两个光信号的振幅(波高)乘积后产生可测量电信号的技术。
用每个神经网络层的输入和输出神经元信息编码的光脉冲(这些信息用于训练网络)通过单个通道。用矩阵乘法表中整行权值信息编码的单独脉冲流过单独的通道。携带神经元的光信号和重量数据呈扇形输出到零差光探测器的栅格中。光探测器利用信号的振幅来计算每个神经元的输出值。每个检测器将每个神经元的电子输出信号输入调制器,调制器将信号转换回光脉冲。光信号成为下一层的输入,以此类推。
该设计只要求每个输入和输出神经元有一个通道,并且只要求神经元有多少零差光探测器,而不是重量。因为神经元总是比权重少得多,这大大节省了空间,所以该芯片能够扩展到每层有超过100万个神经元的神经网络。
找到甜蜜的地方
使用光子加速器,信号中不可避免地会有噪声。输入芯片的光越多,噪音越少,准确度也就越高——但这样做的效率非常低。较少的输入光可以提高效率,但会对神经网络的性能产生负面影响。但伯恩斯坦说,存在一个“最佳点”,即在保持精度的同时使用最小的光功率。
在矩阵乘法期间测量一次何种焦点,以计算乘以两个数字的单个操作来衡量AI加速器的甜点。现在,传统的加速器在微微约会中测量,或焦耳的一万千分之一。光子加速器在Attojoules中测量,这是一百万倍的效率。
在他们的模拟中,研究人员发现他们的光子加速器可以以子履带效率运行。“在减少准确度之前,您可以发送一些最小光功率。伯恩斯坦说,我们芯片的基本限额远低于传统加速器......低于其他光子加速器,“伯恩斯坦说。
了下:学生项目,产品设计




