2012年,计较机科学家达曼德拉·莫达(Dharmendra Modha)用一台壮大的超等计较机仿真了跨越5000亿个神经元的活动,其数量甚至跨越了人脑中850亿个摆布的神经元数。这是莫达近十年工作的颠峰,在这十年里,莫达从仿真啮齿动物和猫的脑起头直到仿真有人脑规模的系统。
该仿真耗损了庞大的计较资本,它用了150万个处置器和1.5PB(150万GB)的存储器,然而其速度仍然慢得令人抓狂,比脑计较速度要慢1500倍。莫达估量,若是要使它和生物的现实运行速度一样快,就需要12吉瓦的能量,大约是胡佛大坝最大供电量的6倍。加州海说神聊部IBM阿尔马登研究中间(IBM Almaden Research Center)的脑开导计较首席科学家莫达说:“然而,这对脑来说只是小菜一碟。”这种仿真远远无法复制人脑的功能,而人脑的功率与一个20瓦的灯胆差不多。
自2000年头以来,硬件的改良以及尝试和理论神经科学的前进,使研究人员可以或许建立更大、更邃密的脑模子。但这些仿真越复杂,就越会受到传统计较机硬件的限制,莫达极端耗电的模子就申明了这一点。
莫达的人脑仿真是在劳伦斯·利弗莫尔国度尝试室(Lawrence Livermore National Lab)的蓝基因/Q红杉超等计较机(Blue Gene / Q Sequoia supercomputer)上运行的,这台计较机是传统计较机硬件的一个无比壮大的调集体:它的工作要靠一大堆传统的计较机芯片,这些芯片是指甲大小的硅片,此中包含数百万个晶体管。传统计较机芯片的布局和功能原则与我们的脑完全分歧。
计较机的“思虑”与我们的脑判然不同,这一事实让它们在处置数字运算等使命时具有优势,同时也让它们在其他一些范畴里较着显得很原始,好比理解人类的说话或从经验中进修。若是科学家们想要仿真脑,使其能与人类智力相媲美,更不消说超越人类智力,他们可能就必需先要研制更好的构件——某些受我们脑开导的计较机芯片。
伶俐芯片(SMART CHIP):由物理学家卡尔海因茨·迈尔(Karlheinz Meier)带领的海德堡小组设计的神经形态芯片(neuromorphic chip)。该芯片有384小我工神经元,由10万个突触彼此毗连,运行速度比脑计较速度快约10万倍。
—HEIDELBERG UNIVERSITY
所谓的神经形态芯片(neuromorphic chips)复制了脑的架构,也就是说,它们经由过程近似于神经元动作电位的“神经锋电位”彼此交流。这种发放锋电位的行为体例使得芯片的功耗很是小,即使将其拼接当作很是大规模的系统,也能连结高能效。
滑铁卢大学的理论神经科学家克里斯·伊莱亚史姑娘(Chris Eliasmith)说道:“在我看来,最大的优势是可扩展性。”在他的《如何构建脑》(How to Build a Brain)一书中,伊莱亚史姑娘描述了他建立并定名为“语义指针架构同一收集”(Spaun)*的功能脑的大规模模子[1]。当伊莱亚史姑娘运行Spaun的初始版本时,该模子有250万个“神经元”,即使在最好的传统芯片上运行,它的运行速度也比生物神经元要慢20倍。他说道:“每当我们增添几百万个神经元时,它就会变慢那么多。”当伊莱亚史姑娘在数字神经形态硬件上运行他的一些仿真时,他发现它们不仅速度快得多,并且功能也提高了50倍摆布。更妙的是,跟着伊莱亚史姑娘仿真更多的神经元,神经形态平台变得加倍高效。这也是神经形态芯片要从天然界复制过来的体例中之一,在天然界,跟着规模的扩大,好比说,从蠕虫脑的300个神经元扩大到人脑的850亿个摆布,脑似乎会同时增添功率和效率。
*译者注
Spaun是Semantic Pointer Architecture Unified Network的缩写。
神经形态芯片在执行复杂的计较使命时,功耗极低,这引起了科技行业的存眷。神经形态芯片的潜在贸易应用包罗高能效超等计较机、低功耗传感器和自进修机械人。但生物学家心中有一种分歧的应用:构建一个功能齐备的人脑复成品。
今天的很多神经形态系统,从IBM和英特尔开辟的芯片,到作为欧盟人脑打算一部门所建立的两种芯片,研究人员都可以利用,他们可以长途拜候它们来运行他们的仿真。研究人员正在用这些芯片建立单个神经元和突触的邃密模子,并解读各单位如何堆积在一路以建立更大的脑子系统。这些芯片许可神经科学家在现实硬件上查验视觉、听觉和嗅觉如何工作的理论,而不仅仅是用软件仿真。最新的神经形态系统也使研究人员得以起头进行更具挑战性的使命,即复制人类如何思虑和进修。
此刻还只是起步阶段,要真正释放神经形态芯片的潜力将需要理论、尝试和计较神经科学家以及计较机科学家和工程师的配合尽力。但最终的方针很是宏伟,并不亚于弄清晰脑的各个构成部门是如何配合缔造思惟、豪情甚至意识。
英特尔神经形态计较尝试室本家儿任、计较机工程师迈克·戴维斯(Mike Davies)说道:“经由过程逆标的目的工程复制脑,是我们能接管其挑战的最大志勃勃的手艺难题之一。”
问题全在于架构
加州理工学院的科学家卡弗·米德(Carver Mead)在20宿世纪80年月缔造了“神经形态”(neuromorphic)一词,因为他注重到,与作为现代计较机芯片构件的数字晶体管分歧,模拟晶体管更接近神经元的生物物理性质。具体来说,仿真电路中很是细小的电流(细小到电路现实上处于 "封闭 "状况)表示出近似于生物神经元中离子流过通道的动力学性质,而这种流动并不导致动作电位。
贾科莫·因迪维里(Giacomo Indiveri)对米德及其同事们的工作很感乐趣,90年月中他决议到加州理工学院做博士后研究。此刻,因迪维里是瑞士苏黎宿世大学的一名神经形态工程师,他所带领的研究小组是少数几个延续米德利用低电流模拟电路方式的研究小组之一。因迪维里和他的团队手工设计芯片的结构,这个过程可能需要几个月的时候。他说道:“因为我们试图提出巧妙的解决方案来实现神经动力学,这仍然是铅笔和纸张的工作。若是您在做模拟,那么这在很大水平上仍然是一门艺术。”
一旦确定了结构,他们就会将设计经由过程电子邮件发送给代工场,这是一家制造智妙手机和电脑芯片的紧密金属锻造工场。最终的成果看起来大致上就像智妙手机芯片一样,但它的功能就像“神经元”构成的收集,经由过程几个节点传布电脉冲。在这些模拟神经形态芯片中,旌旗灯号是经由过程现实的电脉冲来中继的,这些脉冲的强度可以分歧。就像在脑中一样,信息是经由过程分歧神经元的脉冲按时(timing)来传递的。
因迪维里说道:“若是您把此中一个神经元的输出给神经心理学家看,他将无法告诉您这事实是来自硅神经元仍是来自生物神经元。”
这些硅神经元代表了复制神经系统有机湿件(wetware)的不完美测验考试。生物神经元是模拟-数字夹杂系统;它们的动作电位仿照数字硬件的离散脉冲,但它们也是模拟的,因为神经元中的电压程度会影响传输的信息。
模拟神经形态芯片的特点是硅神经元与生物神经元的物理行为很是相似,但它们的模拟性质也使它们传输的旌旗灯号不那么切确。固然在进化上我们的脑已经找到了抵偿其组件不切确的方式,但研究人员却将其根基概念带入了数字范畴。IBM和英特尔等公司都专注于数字神经形态芯片,其硅神经元复制了生物神经元中的信息流动体例,但物理道理分歧。之所以采纳分歧的物理道理,这和传统数字芯片占有了我们绝大大都计较机和电子产物的原因不异,缘于其更高的靠得住性和更轻易制造。
-JeremyUNISEM欧洲有限公司-
构建模块:每个SpiNNaker芯片与存储器封装在一路(左上角),然后拼接当作较大的设备,如右上角的48节点板。多个板子可以毗连在一路,形当作更大的SpiNNaker系统(上图)。
—曼彻斯特大学,史蒂夫·弗伯(Steve Furber)和同事们
但这些数字芯片在表现脑架构的体例上连结了其神经形态状况。在这些数字神经形态芯片中,锋电位以信息包的形式呈现,而不是现实的电压转变脉冲。戴维斯说道:“这与我们传统上在计较机里设计的所有工具都有很大的分歧。”
不管锋电位的外形如何,系统只有在输入达到必然阈值时才会转发信息,这使神经形态芯片得以间断地少量耗损电力,而非不间断地大量耗损。这近似于脑的神经元在任何时辰城市进行交流,而不是服从计时员的号令。另一方面,传统芯片大多是线性的,在严酷的内部时钟节制下,在存储数据的存储硬件和计较数据的处置器之间穿梭往返传递数据。
当莫达在设计IBM的神经形态芯片(名为“真海说神聊”[TrueNorth])时,他首先阐发了猕猴和人脑中的长距离布线图,该图映射了分歧脑区之间的毗连体例[2]。他说道:“它真正起头告诉我们长距离毗连、短距离毗连,以及关于神经元和突触的动力学性质。”到2011年,莫达缔造了一个包含256个硅神经元的芯片,与蠕虫秀丽隐杆线虫(C.elegans)的脑规模不异。操纵最新的芯片制造手艺,莫达将神经元包装得加倍慎密,以缩小芯片的体积,并将这些芯片中的4096个芯片平铺在一路,最终在2014年发布了真海说神聊,它包含100万个合当作神经元,这与蜜蜂脑的规模差不多,并且功耗比传统芯片低几百倍[3]。
-Matt Chinworth-
真海说神聊等神经形态芯片的人工神经元之间具有很是高的毗连性,近似于在哺乳动物脑中看到的环境。大规模并行的人脑的850亿个神经元经由过程大约1万亿个突触高度互联。
真海说神聊要简单得多,此中有2.56亿个 “突触”,毗连其100万个神经元。经由过程将多个真海说神聊芯片拼接在一路,莫达缔造了两个更大的系统:一个仿真了1600万个神经元和40亿个突触,另一个有6400万个神经元和160亿个突触。今朝很多机构的200多名研究人员可以免费利用真海说神聊。
除了神经形态芯片的高度互联和发放脉冲这两大特征外,它们还复制了生物神经系统的另一个特征:与传统计较机芯片分歧,传统计较机芯片将处置器和存储器放在分歧的处所,而神经形态芯片往往有良多细小的处置器,每个处置器都有少量的当地内存。这种设置装备摆设近似于人脑的组织,神经元同时负责数据存储和处置。研究人员认为,神经形态架构的这一要素可以让用这些芯片构建的模子更好地复制人类的进修和记忆。
进修能力是英特尔洛以希(Loihi)芯片*存眷的一个重点,该芯片于2017年9月初次发布,并在2018年1月与研究人员分享[4]。洛以希芯片旨在仿真约13万个神经元和1.3亿个突触,这种芯片连系了锋电位时候依靠性可塑性(STDP)的模子,STDP是脑中由突触前和突触后锋电位的相对按时介导突触强度的一种机制。一个神经元若是在第二个神经元发放之前发放,就会增强它与第二个神经元之间的毗连,而若是发放挨次相反,毗连强度就会削弱。这些突触强度的转变被认为在人脑的进修和记忆中起着主要感化。
*译者注
以夏威夷海底山Loihi定名。
带领开辟洛以希芯片的戴维斯暗示,其目标是为了学会我们脑擅长的快速、终身进修能力,而今朝的人工智能模子却还不具备。和真海说神聊一样,也标的目的很多分歧的研究人员分发了洛以希芯片。跟着越来越多的集体利用这些芯片来仿真脑,戴维斯说:“但愿可以逐渐搞清晰某些较为遍及的道理,由此得以诠释可在脑中看到的一些惊人能力。”
神经形态工程学
对于其所有潜在的科学应用来说,真海说神聊和洛以希芯片并不是专门为神经科学家打造的。它们本家儿如果研究芯片,旨在测试和优化神经形态架构,以提高其能力和易用性,并摸索各类潜在的贸易应用。其规模从语音和手势识别到高能效机械人和设备上的机械进修模子,这些模子可以撑持开辟更伶俐的智妙手机和主动驾驶汽车。欧盟的人脑打算(Human Brain Project)则开辟了两种神经形态硬件系统,它们都有明白的方针:熟悉脑。
2016年推出的“神经形态夹杂系统脑开导多标准计较”(BrainScaleS)项目*,[5]把很多芯片都集当作在一个大硅片上,其外形更像是一只超薄的飞盘而不是指甲。每个晶圆包含384个模拟芯片,它们的工作体例颇像因迪维里的模拟芯片的进级版,这种芯片针对速度而不是低功耗进行了优化。每个晶圆都仿真了约20万个神经元和4900万个突触。
*译者注
BrainScaleS是Brain-Inspired Multiscale Computation in Neuromorphic Hybrid Systems的缩写。
BrainScaleS与欧盟的另一个神经形态系统“脉冲发放神经收集修建”系统(SpiNNaker)*一路,都得益于作为人脑打算的理论、尝试和计较神经科学家大师庭的一分子。与这一社群的互动将导致发现可能帮忙科学家的新特征,并让这两个系统的新发现敏捷回馈到该范畴。
*译者注
SpiNNaker是Spiking Neural Network Architecture的缩写。
曼彻斯特大学的计较机工程师史蒂夫·弗伯(Steve Furber)在20年前就构想了SpiNNaker,为此他已经设计了十多年。弗伯暗示,在对作为SpiNNaker根本的小型数字芯片进行了大约6年的尽力之后,他和他的同事们在2011年实现了全数功能。从那时起,他们的研究团队一向在将芯片组装陈规模不竭扩大的机械,最终在2018年末建当作了有百万处置器的机械[6]。弗伯估计,SpiNNaker应该可以或许对小鼠脑中的1亿个神经元进行及时建模,而传统的超等计较机做起来要慢一千倍摆布。
今朝,学术尝试室可以免费利用欧盟人脑打算系统。神经科学家们起头在SpiNNaker硬件上运行本身的程序,以仿真脑特定子系统(如小脑、皮层或基底神经节)中所进行的高级处置。例如,研究人员正试图仿真一个小的反复布局单位——皮层微柱,微柱是位于脑外层的负责大大都高级功能的布局单位。弗伯说道:“固然微柱很小,但它仍然有8万个神经元和25亿个突触,所以要想对此建模并非垂手可得。”
他弥补说,“接下来,我们起头考虑系统层面的问题,而不仅仅是单个的脑区。”我们正慢慢接近作为人智能之源的、有850亿个神经元的器官的全脑模子。
仿照脑
达特茅斯学院的计较神经科学家理查德·格兰杰(Richard Granger)暗示,操纵神经形态硬件对脑进行建模,可以揭示神经计较的根基道理。神经科学家可以很是具体地测量神经元的生物物理和化学特征,但很难知道这些特征中事实是哪些性质才真正对脑的计较能力主要。固然神经形态芯片中利用的材料与人脑中的细胞物质完全分歧,但利用这种新硬件的模子可以揭示脑如何往返传送和评估信息的计较道理。
用硅复制简单的神经回路,帮忙因迪维里发现脑在设计上的隐性益处。他曾经给过一位博士生一块神经形态芯片,这块芯片具有锋电位的频率顺应性,这是一种让人习惯于持续性刺激的机制。因为芯片空间严重,这位学生决议不要这一特征。然而,当他尽力降低对芯片的带宽和功率要求时,他最终获得了现实上与他所删除的锋电位频率顺应不异的工具。因迪维里和他的同事们还发现,长距离发送模拟旌旗灯号的最佳体例并不是,例如说,将其暗示为持续可变的流,而是将其暗示为脉冲串或脉冲序列,正像神经元所做的一样。因迪维里说道:“若是您想把功率和带宽降到最低,神经元所利用的本来就是传输旌旗灯号的最佳手艺。”
神经形态硬件还可以让研究人员查验他们关于脑功能的理论。康奈尔大学计较神经科学家托马斯·克莱兰(Thomas Cleland)成立了嗅球模子,以说明嗅觉机制的道理。利用洛以希芯片使他可以或许成立足够快的硬件模子,以仿照生物。当从化学传感器(作为我们气息受体的人工版本)获得数据时,系统学会了只要接管一个样本就能识别气息,这要优于传统的机械进修方式,并接近嗅觉最活络的人。
戴维斯说道:“经由过程像这样当作功的仿照,并现实展示可以用神经形态芯片做到这一点,这确实证实了您真的搞懂系统了。”
-Zoe? van Dijk-
克莱兰的嗅觉模子并不老是如预期的那样当作功,但那些“掉败”的尝试也同样具有启迪意义。传感器有时会感觉气息输入与模子展望的分歧,这可能是因为气息比预期的要更复杂或更嘈杂,或者是因为温度或湿度干扰了传感器。他说道:“输入会变得有点不不变,我们知道这骗不了我们的鼻子。”研究人员发现,经由过程存眷气息输入中以前被轻忽了的“噪音”,嗅觉系统模子可以准确检测出更多种类的输入。这一成果使克莱兰更新了他的嗅觉模子,研究人员此刻可以不雅察生物系统,看看它们是否也利用这种以前未知的手艺来识别复杂或嘈杂的气息。
克莱兰但愿对他的模子进行改良,使模子能以生物及时运行,以阐发来自数百甚至数千个传感器的气息数据,而这在非神经形态硬件上运行可能需要几天时候。他说道:“只要我们能把算法用到神经形态芯片上,那么它就能很好地工作。”“对我来说,最令人兴奋的是当我们真的做了这些改良之后,我们就可以或许运行这些16000个传感器数据集,看看算法会变得何等好。”
SpiNNaker、真海说神聊和洛以希芯片都能以生物的现实速度运行对神经元和脑的仿真,这意味着研究人员可以利用这些芯片来及时识别刺激,如图像、手势或声音,并当即进行处置和作出响应。除了让克莱兰的人工鼻处置气息外,这些能力还可以让机械人及时感知情况并做出反映,同时只耗损少少的电力。这比大大都传统的计较机有很大的前进。
-Matt Chinworth-
对于某些应用来说,好比成立进修过程的模子可能需要数周、数月甚至数年的时候,若是速度能快一点,就会有所帮忙。这就是BrainScaleS的优势地点,它的运行速度大约是生物脑的1000至10000倍。并且这个系统只会越来越进步前辈。它正处于进级到BrainScaleS2的过程中,正在与神经科学家紧密亲密合作以开辟新版本所用的新处置器。
新系统将可以或许更好地仿照进修和化学过程,好比多巴胺对进修的影响,而这些都是其他神经形态系统无法复制的。研究人员暗示,它还将可以或许建模各类神经元、树突和离子通道,以及布局可塑性的一些特征,如突触的丢掉和发展。也许有一天,该系统甚至可以或许接近人的进修和智能。帮忙开辟BrainScaleS的海德堡大学生物物理学家约翰内斯·舍梅尔(Johannes Schemmel)说道:“理解生物智能,我认为是本宿世纪迄今为止最大的问题。”
参考文献
[1] C. Eliasmith et al., “A large-scale model of the functioning brain,” Science, 338:1202–05, 2012.
[2] D.S. Modha, R. Singh, “Network architecture of the long-distance pathways in the macaque brain,” PNAS, 107:13485–90, 2010.
[3] P.A. Merolla et al. “A million spiking-neuron integrated circuit with a scalable communication network and interface,” Science, 345:668–73, 2014.
[4] M. Davies et al. “Loihi: A neuromorphic manycore processor with on-chip learning,” IEEE Micro, 38:82–99, 2018.
[5] J. Schemmel et al., “A wafer-scale neuromorphic hardware system for large-scale neural modeling,” Proc 2010 IEEE Int Symp Circ Sys, 2010.
[6] S.B. Furber et al., “The SpiNNaker Project,” Proc IEEE, 102:652–65, 2014.
译者评论
神经形态芯片是近年来神经手艺方面很是值得注重的一个范畴,它在计较道理方面冲破了冯诺依曼架构,在节能和仿真脑的计较速度方面具有优势,很有可能在对节能要求出格高的范畴如航天,以及硬件实现神经回路或某些相对简单的脑子系统模子时阐扬主要感化。这篇文章是对神经形态芯片近况的一篇较好也较周全的综述。不外译者认为对神经形态芯片在正视的同时,也不克不及估量过高。
第一,有脑规模的模子并不等同于脑模子,有脑规模的模子只是说此中的元件数和元件之间的联络数可以和脑比拟,可是其元件只是对神经元的一种很粗拙的模拟,联络也可能与脑中的现实联络很纷歧样,是以无论从布局和功能两方面来说都和生物脑相去甚远。
第二,神经形态芯片在细胞程度能很好模拟神经元,这是因为有了霍奇金-赫胥黎方程这样靠得住的理论根本,对于一些相对简单的脑子系统,如嗅球、小脑、视网膜等也可望作出很好的模子研究。可是对于此刻还完全没有任何理论框架的全脑问题,此刻就想经由过程逆标的目的工程成立全脑模子是不实际的。在译者看来在可预见的将来还做不到“构建硅脑”,而只能构建脑某些子系统的硅模子。
第三,脑和计较机的工作道理纷歧样,擅长的功能也纷歧样,计较机擅长的数值计较和逻辑推理是生物脑所不擅长的,而脑所擅长的模式识别、小样本进修等方面也是冯诺依曼计较机所不擅长。在译者看来冯诺依曼计较机和神经形态系统应该是互补的关系,而不是谁代替谁的关系。
第四,关于神经形态系统可否成长当作新一代计较机的问题,不仅取决于这一手艺自己,取决于是否能开辟出丰硕的应用生态系统,并且也取决于有几多工程手艺人员愿意丢弃他们驾轻就熟的传统计较机手艺,而从头投入大量精神和物力从头学一门与前完全分歧的新手艺。
作者:Sandeep Ravindran|封面:Florent Hauchard
译者:顾凡及|编纂:EON
排版:Benedict
原文:https://www.the-scientist.com/features/building-a-silicon-brain-65738
0 篇文章
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!