资讯详情

神经网络算法未来_光子神经网络——点亮智能光子

0f80da7d4ec18d929fcd24c561cb4d4f.png

本文为中国激光第1834篇。

欢迎点击查看和转发,让更多人看到。

*记得点亮我的星标哦,操作见文末

《中国激光》于2020年第五期出版《纪念激光诞生60周年》。《中国激光》编委、清华大学陈宏伟教授应邀与北京邮电大学徐坤教授课题组合作,撰写《光子神经网络的发展与挑战》

(图片来自网络)

近年来,以神经网络为代表的人工智能技术发展迅速。2017年,使用了神经网络AlphaGo李世石和柯洁依次击败了人类顶级围棋选手,展现了人工智能强大的学习和计算能力,开启了新一代人工智能的序幕。人工智能技术正朝着高速低功耗的方向快速发展。 由于电子设备的固有极限,传统的电子神经网络难以进一步提高功率效率和计算速度。而 ,光电子技术作为光电子技术和人工智能技术的交叉产物,可以充分发挥光电子技术在带宽、容量和速度方面的优势,成为突破传统限制的潜在手段。 目前,光子神经网络技术的研究主要涉及 以及 这三种典型的结构。与此同时,光子神经网络也在向实时训练、规模化和特殊应用方向发展。

前馈神经网络的计算信息是输入层到输出层的单向流动。

2017年,来自MIT的Shen世界上第一个基于集成光子干扰计算单元的前馈神经网络已成功建立。MZI光子干涉计算单元由网络组成(OIU),辅以非线性激活模块(图1),主题组成功实现了元音识别功能。根据分析,其结构比传统的电子前馈网络更适合高速、低功耗和低延迟的操作场景。

(a)

(b)

2018年,Bagherian根据上述光子干扰计算单元芯片,利用芯片分段计算图像卷积,构建更复杂的卷积神经网络结构。该结构模型可用于识别彩色数字。 与前馈神经网络不同,循环神经网络(存储池计算)的计算信息除了前向流动外,还有同层节点之间的流动和后反馈流动。 一般来说,循环神经网络由输入层、中间层和输出层组成。在训练过程中,通常只训练输出权重来收敛网络。使用光电子设备构建循环神经网络时,有串行和并行两种方案。 优点是直观性强,计算速度快。2011年,Vandoorne等提出的基于半导体光放大器(SOA)循环神经网络结构及2016年Bueno该方案用于基于空间光学器件的循环神经网络结构。 但并行存在鲁棒性差、规模不易扩大、成本高等问题, 该计划可以改善这些问题。2012年,Paquot利用光电混合系统率先构建光电混合串行循环神经网络,实现信号分类功能。 脉冲神经网络(SNNs)模拟的神经元更接近生物神经元模型,因此也被称为第三代人工神经网络。脉冲神经元并非每次迭代传播都被激活,而是只有当其膜电位达到阈值时才被激活。 2016年,普林斯顿大学Prucnal小组提出了基于可激活的石墨烯光纤激光器的脉冲处理系统,其结构如图2所示。该系统主要由掺杂的混合光纤组成 1480 nm带脉冲刺激信号的激光器LIF (leaky integrate-and-fire)脉冲神经元的响应。 2018年,该小组还提出了分布式反馈(DFB)神经拟态光子集成电路(图3)的激光结构,探讨了构建可编程可级联光子神经网络的可行方案。

由于光子本身难以存储,在电神经网络训练中应用广泛的后传播算法很难移植到光子神经网络训练中。 针对这一问题,Hughes2018年,等人首次提出了集成光子干涉单元的实时训练算法。该算法可以通过记录光场分布和移相器的相位分布来降低梯度值,然后计算下一轮迭代中芯片移相器的相位配置,使芯片的整体性能逐渐收敛。 此外,北京邮电大学Zhang2019年,等人提出了基于遗传算法/粒子群算法的非梯度片训练方案,以降低获取和计算梯度值带来的设备性能和要求。Zhang光神经网络通过仿真实现Iris 数据集、Wine在线训练的数据集中,训练的收敛效果如图4所示。

与电子设备相比,光电子设备难以实现非线性函数,非线性函数具有许多不理想的特性,因此非线性操作已成为光子神经网络发展的另一个障碍。 1967年,Seldon提出了饱和吸收体模型或电子模块,在光子神经网络中实现非线性操作,但该方法难以准确控制,需要通过光电二极管将光信号转换为电信号,从而降低计算速度。 2019年,Williamson提出了光电混合的非线性操作模块(图5)。该模块不仅能更准确地产生非线性激活函数,还能通过改变移相器的相位来实现不同激活函数的转换。同年,Feldmann 提出了光控相变存储器(PCM)该方案利用相变材料对不同输入光强的透光性差,从而实现非线性激活函数的功能(图6)。

此外,二维石墨烯材料也有望用于实现光学激活函数。 光子神经网络的规模化是另一个难以解决的问题。一方面,大型神经网络有利于实现更复杂的功能,但光子器件的不稳定性和难以精细调谐的特性使得神经网络规模难以扩大。 2018年Lin基于衍射的光子深度神经网络(D 2NN),能有效解决这个问题(图7)。利用光衍射叠加,该结构能够实现相邻两层神经元之间的连接,通过改变处于不同位置的像素块厚度来调节所经过光的相位差,从而使得不同节点之间有不同的权值。最后,在特定位置使用它PD输出深度神经网络。神经网络的每层节点数可以扩展到数百个。 此外,清华大学陈宏伟研究小组还提出了基于时域拉伸的串行光子神经网络(TS-NN),利用光纤色散傅里叶转换实现线性矩阵操作,实现光电混合全连接神经网络规模扩展(图8)。 由于现有光子神经网络的规模和复杂性,光子神经网络的应用场景非常有限。 2012年,Paquot基于光纤系统的光电混合循环神经网络成功构建,可实现通信通道的平衡,是光子神经网络在通信领域的场景扩展。 2019年,清华大学和北京邮电大学Yu二值光相干接收构建二值光相干接收机(图9),恢复发送端调制信号。正交相移键控(QPSK)调制的光信号首先通过广播层进入输入层,然后通过二值全光神经网络处理,然后通过光电二极管和模数转换器转换为电信号,最后通过电人工神经网络恢复原始调制信号。

该结构可以缓解电域的信号处理压力,降低光接收器的整体功耗,提高光接收器的信号处理速度。此外,该结构还可以大大降低模数转换器量化位数的要求,从而有效降低光接收器的成本。

近年来,各种光子神经网络的兴起已成为突破电子神经网络瓶颈的潜在手段。由于光电器件带宽大、损耗低的特点,光子神经网络更能适应高速、低延迟的操作。然而,光子神经网络还需要克服实时训练、实现非线性激活函数、规模和应用扩展等问题,才能在人工智能领域真正闪耀。

课题组介绍

隶属于清华大学电子工程系信息光电子研究所和北京信息科技国家研究中心。研究小组长期从事微波光子学、超高速激光成像、智能光子系统、硅基光子集成等光电技术和系统研究。研究小组的主要成员入选教育部第一批青年长江学者、国家自然科学基金委员会优秀青年和新世纪人才计划。研究小组多次获得北京、教育部、行业协会奖,承担国家重点研发计划、国家自然科学基金重点项目等。

北京邮电大学信息光子学与光通信国家重点验室,在国家杰出青年科学基金获得者带领下,长期从事信息光子学方面的研究,主要包括微波光子学、光纤通信与光纤无线融合系统、人工智能与光子神经网络等。。

声明:本文所用图片如涉及版权问题,请第一时间告知,我们将根据您提供的证明材料确认版权并立即删除。

End

首发前沿光学成果,放送新鲜光学活动

如需转载,请直接留言。

商务合作:朱先生 13918384218

本文注明来源为其他媒体或网站的文/图等稿件均为转载,如涉及版权等问题,请作者在20个工作日之内来电或来函联系,我们将协调给予处理(按照法规支付稿费或删除)。

最终解释权归《中国激光》杂志社所有。

标签: 763nm可调谐激光二极管852nm可调谐激光二极管

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台