全球科学供图
光照/视觉中国
光照/视觉中国
【环球科技】
人工智能算法在过去几年取得了巨大的进步。它在日常生活中的应用越来越普遍,常用于分析文本或图片的内容,理解语音指令,效率往往高于人类。2016年,AlphaGo算法在围棋比赛中击败了来自韩国的世界冠军李世石,10年前没有专家预测它会取得这样的成就。然而,为了达到显著的性能,这些算法远远超过我们的大脑完成类似任务所需的能量。举例来说,BERT它是一种处理人类语言的人工智能算法,在训练过程中消耗数千瓦时的电能。这相当于人脑运行6年所消耗的能量。在能耗方面,大脑的记忆、计算和学习过程比计算机高得多。有没有可能从大脑中获得灵感,创造出更好的设备?答案是肯定的,我们可以用电子旋转来做到这一点。
1
目前比较流行的人工智能是一种基于深度神经网络的算法,它的设计灵感来自于大脑结构。但是为什么人类智能和人工智能在能耗上的表现差异如此悬殊?这是因为如今的人工智能程序还在经典的计算机上,或者在与之相似的显卡上运行,它们的结构和运算原理都和大脑明显不同。
为了解决高能耗问题,许多研究机构和企业正在开发新的电子设备,希望完全模拟其运行原理。自旋电子学是研究如何利用电子量子性质的方法之一。借助自旋电子学开发的硬件,我们可以模拟大脑中的神经元和连接神经元的突触。也许我们不能利用自旋电子学在短期内开发出一套完整的解决方案并实现工业化,但一些早期成果显示出良好的前景。
对于实际应用中的计算机来说,提高能量利用效率和运行速度的最大障碍来自于这样一个基本事实:数据存储在存储器中,处理器在物理上是独立的。处理器是根据程序指令处理数据的设备。人工智能算法包含数百万甚至数十亿个参数。当该算法运行时,它必须不断地在存储器中搜索数据,然后在处理器中添加或乘以,最后将结果写入存储器。这构成了通过通信线路不断传输的数据流,消耗了惊人的能量。
在大脑中,数据处理的方式非常不同。存储器无处不在,信息被分布和保存在突触中。突触是神经元之间的连接节点,也负责处理数据。平均而言,每个神经元与1000个突触连接,并具有并行计算的能力。这种并置计算和存储的方法,结合并行处理能力,具有惊人的能效。
计算本身的性质也在很大程度上决定了设备的能效。计算机处理非常准确的数据,以比特的形式编码信息,以极其严格的方式进行这些数据的逻辑操作。这种准确性对于处理将火箭送入太空至关重要。然而,如果你想识别一张熟悉的脸,这种准确性可能是不必要的。由于需要消除所有噪音,纠正所有错误,因此使电路进行完美的操作是非常耗能的。
大脑的能量只是我们每天摄入的热量,这是非常有限的。因此,在进化过程中,大脑采取了另一种策略:在信息处理的可信度和能耗之间妥协。突触和神经元有一些随机行为,允许某些误差,因此即使收到类似的信息,也可能不会输出相同的结果。
另一方面,大脑确保信息处理的可靠性,大脑采用了各种策略。例如,每个神经元似乎都不是很可信,但有时大脑中有多个神经元同时放电来处理相同的信号。大脑根据神经元响应的总和产生相关的稳定性结果。结果表明,该冗余系统的能耗低于严格的系统,可以有组织地纠正错误。
此外,突触存储和神经元处理的信号不是二进制的0或1,这与当前的电子元件完全不同。这些信号是电信号,它们的值范围相对较宽,每个信号都非常相似但不同。可以说,该信号中包含的信息量大幅增加,但对干扰(或噪声)也更为敏感。你知道,在处理器中,每个元素都以相同的时钟频率操作,保证了操作的同步,但限制了信息处理的速度;大脑的工作方式不同,不同,每个神经元都以自己的频率释放电信号,与其他神经元有效沟通。有时这种交流必须跨越不同的大脑区域。
2
大脑的各种特性提高了它利用能量的效率。有没有可能从大脑中获得灵感,创建一个电子设备或集成电路,可以用极低的能量处理数据?
如果在相邻位置安装电子神经元和突触,尽可能接近存储和操作过程,我们可以创建类似于神经网络的结构。这个想法并不新奇。20世纪80年代末,卡弗是加州理工学院的研究员和现代微电子学的创始人之一·米德(Carver Mead)提出神经拟态(neuromorphic)他的目标是模拟大脑的神经生物学结构。但由于技术上的许多障碍,这种方法长期以来一直被冷落。
第一个障碍是存储器。到目前为止,电子技术还无法实现大规模存算一体化。事实上,安装在处理器中的唯一存储电路是静态随机存储器(SRAM),它的成本非常高,因为它需要占据处理器表面非常有限的面积。因此,处理器中的数据存储容量很小,大部分数据存储在存储器中,物理上存储在处理器外部。目前,科学家们正在尝试各种方法来接近存储器和处理器。自旋电子学近年来在许多研究中取得了重要进展。
自旋电子技术不仅需要电子携带的电荷,还需要电子自旋。自旋是一种纯量子特性,其性质与角动量相似。我们可以用一个小箭头来表示电子自旋。自旋与电子的内部磁矩有关,因此如果一种材料中的大多数电子自旋方向相同,它将具有磁性。自旋电子利用电流中电子自旋与磁性材料的相互作用。
具体来说,自旋电子学的基本组成部分是直径数十纳米的小圆柱体,即所谓的磁隧道结。磁隧道结包括两层磁性材料(即纳米磁体),中间是绝缘层。当两个纳米磁体的磁化方向相同时,电流可以通过隧道效应(量子效应)轻松通过磁隧道结,电阻很小。若纳米磁体磁化方向相反,电流难以通过,即其电阻变大。
由于这种性质,磁隧道结可以存储二进制信息,并以不同的磁化方向记录0或1。基于这一原理的存储器被称为磁随机访问存储器(MRAM),它诞生于20世纪80年代中期。然而,为了改变一个比特值,需要施加外部磁场来改变纳米磁体的磁化方向。这一过程阻碍了设备的微型化。
1996年,IBM研究员约翰·斯隆泽乌斯基(John Slonczewski)吕克,美国卡内基-梅隆大学·贝尔热(Luc Berger)他们独立提出了一套大大改进这类设备的方案。它们证明了自旋传递的新效果。
当电流中的电子通过磁隧道结中的纳米磁体时,它们的旋转会与磁体中的电子旋转相互作用,导致电流中的电子旋转极化,并与磁体中的电子旋转方向一致。在磁隧道结中,一个纳米磁体的磁化方向可变(称为自由层),而另一个磁体的磁化方向保持不变(称为参考层)。当极化电流流过自由层时,它会改变磁体的磁化方向。因此,在不使用外部磁场的帮助下,只要操纵电流的方向,就可以写入比特的0或1。这一发现催生了集成MRAM的概念。
从那时起,许多微电子系统制造商开始使用这种技术来制造存储器。你知道,硅基集成电路可以集成10亿个这样的元件。目前,该存储器已应用于日常电子设备中,因为它具有两种存储器的优点:读写速度和动态存储器一样快,长期存储信息的能力与大容量存储器一样强。
因此,我们不断接近神经拟态集成电路的概念。在执行运算的硅基集成电路中,磁隧道结可以被安装在最有用的地方,以比特的形式储存数据。就像突触与大脑中的神经元相连一样,这些人工突触可以尽可能靠近硅制成的计算中心。若要在此类设备上运行神经网络算法,则只需为这些突触配置上正确的值,以定义程序任务。根据相应的值,神经网络可以识别图像或声音中的元素。
我们有望通过大幅减少外部存储器和处理器之间的数据交换,减少人工智能算法消耗的能量。学术界和工业界都在积极探索这种方法。但它仍然不能完全令人满意:要执行任务,你需要提前知道每个突触需要记住的正确值。而且这类元素没有真正的大脑所具有的可塑性。理想情况下,我们希望创造一个可以通过学习实施不同操作的回路。
3
一般来说,神经网络算法的第一步是学习。在此过程中,神经网络需要不断调整突触值,以提高计算性能,更好地完成分配给它的任务。
不幸的是,该算法用于识别神经网络中突触正确值的技术来自一种复杂的数学方法,被称为反向传播。这个过程需要一系列高精度的操作,消耗大量的能量。该方法适用于计算机,但适用于模具大脑的系统而言并不是必要的,因为新系统运算的精度相对较低。
在这种情况下,与高精度高能耗的方法相比,再次选择模拟大脑的运算方式会更明智。值得注意的是,生物学上的突触不仅发挥了记忆功能,也是学习机制的核心。实际上,它们是可塑的,可以根据自身暴露的信息量调整自己的活动。例如,当通过一个突触相连的两个神经元同时活跃,使得这个突触的活动性增加,突触就会因此得到增强。但这种增强并不一定是完全彻底的,否则每个新信号都会抹去神经元在过去的经验过程中建立起的微弱联系。
如果要将这个原则应用到自旋电子学器件中,就要根据器件收到的信号,调整人工突触的数值。实际上,用这样的系统实现一定的可塑性是有可能的。当电压被施加到一个磁隧道结上的时候,自旋传递效应就会使其中一个纳米磁体的磁化方向发生改变。如果电压足够高,持续时间足够长,就足以让纳米磁体的磁化方向反转,从而将数值保存在磁隧道结中。但是这种反转不一定是可预测的:如果电压持续时间不够长,那么磁化方向有时会反转,有时候不会。而对磁隧道结施加的电压越高,磁化方向反转的概率也就越大,但不会达到100%。
4
在通用存储器中,这种不确定的表现必须尽可能避免。但是神经拟态系统中,突触会按具体收到的信号逐渐改变它所处的神经网络的功能,调整系统对新任务的响应,并且不需要借助反向传播这样的烦琐过程。
2015年,我和同事证明,一个由自旋电子学存储器构成的系统可以学习计算高速公路上的车辆数量(精度为95%),或者识别手写数字,其方法与通用人工智能算法相同。对于这些相对简单的任务,它的表现与更传统的神经网络学习技术相当。(并且后者需要模拟更多的突触,消耗的能量更多。)但是对于复杂的任务,例如和围棋高手对局,这种新的方式还远远无法与传统技术相匹敌。
另外,即使我们能够实现人造突触,将信息储存在里面,并使它能够调整响应,以此模拟突触可塑性和学习过程,但一个完备的神经拟态系统还必须同时包含执行运算的神经元。
人类大脑中有接近1000亿个神经元,而今天的人工智能算法最多只能模拟几千万个神经元。有没有可能用现有的硅基晶体管技术模拟神经元?首先,用这种技术制造一个人工神经元就需要几百个晶体管,如果我们要在一个拇指大小的芯片上安装这么多元件,那么每个神经元的大小就要远远小于1毫米,这是不可能的。
例如,IBM在2014年发布的TrueNorth芯片就是一个神经拟态元件,它令人印象深刻,并且没有运用自旋电子学。这个系统包含50亿个晶体管(一个庞大的数字),能够模拟100万个神经元和数百万个突触。通过让运算和存储的区域相互靠近,IBM证明这样一个芯片的功率远小于普通的芯片,差距达几个数量级。
实际上,TrueNorth芯片的架构并不包含100万个神经元。不过TrueNorth芯片运行速度极快,因此一个数字电路可以模拟多个人工神经元(相当于在物理上聚集在一起的一组神经元),连续执行每个神经元负责的运算。这是一个微小却重大的革新,改变了制造人工神经元和人工突触的神经拟态的基本思想。到2017年,英特尔也开发了一个相似的芯片,称为Loihi,但它略逊一筹,只有13万个神经元。这些器件仍然体积庞大,很难想象通过这种方式就能制造出和人类大脑相当的东西。
自旋电子学还指出了另一条道路。磁隧道结可以模拟大脑神经元的核心功能,尤其是神经元之间通过释放电脉冲信号交流的特性。电脉冲本质上都是一样的,但其数量取决于神经元的活动。如果一个神经元在短时间内收到多个电信号,那么接下来它释放信号的频率也会提高;如果它只收到少量的信号,那么它传出的信号也较少。
传统的电子元件很难在纳米尺度上模拟神经冲动。实际上,要制造具备一定频率的脉冲信号,需要在电子回路中制造反馈循环,这也会占据空间。但是,用磁隧道结来实现这种行为是可能的。
一种解决方案是将输入信号转换为相加的电流(这点与生物体内的神经元完全相同),然后再将其注入磁隧道结。接下来,我们选择元件的性质,让输入电流中的电子的自旋不足以完全改变纳米磁体的磁化方向,而是能让它持续振动、旋转,就好像指南针的指针那样。当参考层和自由层磁化方向的相对朝向发生周期性变化,磁隧道结的电阻(称为磁电阻)就会发生变化,并表现为周期性的电流变化。输入电流越强,相对朝向的旋转速度就越快,输出信号的频率也就越高。这就得到了一个与神经元非常相似的行为。这种现象在室温下就能实现,并且对于纳米尺度元件而言十分稳定。因此,可以利用这种原理制造功能更完善的设备。
5
2017年,我的团队通过实验证明,一个磁隧道结就能模拟一个神经元。我们甚至还走得更远:只用一个磁隧道结,就模拟了一个由400个神经元构成的神经网络。这个方案借助了一种名为“时分复用”的策略,磁隧道结轮流扮演每个神经元的角色。随后,我们还用这个自旋电子学建构的大脑识别了不同的人说出的数字。
为此,我们先将声学信号转换成电信号,使它能通过磁隧道结。为了让它的频率处在器件的波段之内,声学信号对应的电信号要加速1000倍。通过时,它们的确改变了一个纳米磁体的磁化方向。随后,因为磁电阻效应的存在,人造神经元将电流模式转换为两端的电压变化。我们记录了人造神经元的电压变化,然后将它传输到一台电脑中。这样我们就能根据突触函数模拟整个神经网络。经过学习数字发音的阶段后,这些函数就完成了配置。随后,用新的对话输入这套神经网络,就能识别其中的数字了,准确率可以高达99.6%,表现十分优秀。这个实验证明,磁隧道结能够可靠地模拟神经元。
在神经拟态计算方面,自旋电子学领域的研究十分鼓舞人心。未来我们需要面临的挑战,是用数百万个磁隧道结模拟神经元和突触,搭建一套完整的神经网络。如今,产业界已经能将几十亿个磁隧道结安装在芯片上,让它们接入经典电路,以此发挥存储器的作用了。这为后续的长期研究打下了坚实的基础。
自旋电子学带给我们的惊喜还不止于此。磁隧道结还能模拟大脑的其他性质,例如相距甚远的神经元之间的同步效应。因为在大脑中,神经脉冲信号有时候会引发远处神经元的同时应答。这种同步有许多优势。在处理信号的过程中,同时发送脉冲信号的神经元更加重要。如果它们都和同一个神经元相连,那么后者将在短时间内收到大量的脉冲信号,并且能够高效地将信号发送出去。整个系统中的神经元都受到这个现象的支配,这产生了脑波,能够高效影响位于其他脑区的神经元的行为,尽管这些神经元可能离得很远。
6
磁隧道结运行速度极快,它们产生的电磁脉冲信号的频率常常超过几十万赫兹。因此,它处理信息的速度比大脑要快几百万倍。但这带来了另一个问题,这些元件的行为就好像纳米级的无线电收发电台。而磁隧道结对环境中的电磁波极其敏感,这可能会影响它们产生的脉冲信号,它们是灵敏的收音机。通过调节磁隧道结组合发出和收到的信号,我们有可能调节它的特征,使其中的磁隧道结相互同步。这样就能像生物体中的神经元一样了。
在人造神经网络中引入这种同步行为,可以高效训练出适用于不同任务的神经网络,这是令人心动的一条道路。2018年,我们和同事共同研究了一种包含400个磁隧道结的系统,它的任务是识别语音中的元音。这个声学信号被缩减成两个频率(由傅里叶分析实现),并加速了10万倍,然后传输到4个纳米振荡器构成的天线。十分有趣的是,在这个实验中,我们证明磁隧道结协调自身频率的能力改善了识别声学信号的表现。
为了将研究推进一步,我们需要尝试实现一种神经网络,能让神经元通过磁隧道结收到和发出的电磁波交流。这种网络为实现稠密神经网络中神经元的相互连接提供了一条可靠的途径,而稠密神经网络是完成复杂任务不可或缺的。为此,一个完备的系统要将磁隧道结制造的神经元和基于MRAM的人造突触相连接,以让MRAM具备学习能力。
这样的系统能做什么呢?我们的目标并不是得到一个和人类智力不相上下的人工智能,我们对大脑的认识还远远不足以实现这样的成就。但是,我们希望得到一个比目前能效更高、运算速度更快的人工智能。通过这种方式,我们可以大大减少运算中心在翻译文本或者转写语音时消耗的能量,或者把这样的器件安装在手机或自动驾驶汽车中,为日常生活带来便利。
(作者:茱莉·格洛利耶是法国科学研究中心-泰雷兹集团联合物理研究所研究员。达米安·科里奥兹是巴黎-萨克雷大学与CNRS纳米科学与纳米技术研究中心研究员。)
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”