英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
SCIENCE ADVANCES | RESEARCH ARTICLE
网络科学
利用电阻切换突触学习尖峰神经网络中的时空模式
Wei Wang1, Giacomo Pedretti1, Valerio Milo1, Roberto Carboni1, Alessandro Calderoni2,
Nirmal Ramaswamy2, Alessandro S. Spinelli1, Daniele Ielmini1* *
Copyright copy; 2018 The Authors, some rights reserved; exclusive licensee American Association for the Advancement of Science. No claim to original U.S. Government Works. Distributed
under a Creative
Commons Attribution
NonCommercial
License 4.0(CC BY-NC)
under a Creative
Commons Attribution
NonCommercial
License 4.0 (CC BY-NC).
under a Creative
Commons Attribution
NonCommercial
License 4.0 (CC BY-NC).
人类大脑是一个复杂的综合时空系统，其中空间（神经元发射）和时间（当神经元发射时）都携带由认知功能处理的信息。为了平衡大脑的能量效率和计算功能，在空间和时域上运行的方法论必不可少。在具有突触可塑性的纳米级装置内实现时空功能将为构建模拟人脑的计算和能量性能的大规模神经形态系统贡献重要的一步。我们提出了一种使用电阻切换突触的类似大脑的时空计算的神经形态方法。为了处理时空尖峰模式 ，时间编码的尖峰被重新塑造成指数衰减的信号，这些信号被馈送到McCulloch-Pitts神经元。 在具有电阻切换突触的多神经元网络的监督训练之后，证明了尖峰序列的识别。最后，我们证明，由于对精确尖峰定时的敏感性，时空神经网络能够模拟人类大脑的声音方位角检测。
介绍
在能量效率和容错计算方面，人类大脑优于大多数现有的人工神经网络（人工神经网络）（1,2）。人工神经网络与人类大脑之间的主要区别之一是信息的表示（3,4）：虽然大多数人工神经网络将输入/输出数据表示为实值向量，但人类大脑通过二进制尖峰对信息进行编码。生物神经元遵循一个全有或全无的规则，当刺激足够大时，神经元会发出一致的动作电位或尖峰;否则它保持沉默（5,6）。引入尖峰神经网络（SNN）（7,8）来模拟人类大脑中的信息处理方式，尽管表示方法，即神经元尖峰如何编码感觉信息，仍然存在争议（9， 10）。在速率编码（图S1A）（11）中，外部刺激的强度由尖峰速率表示。然而，信息由一系列尖峰携带，因此导致相对低的信息密度和低能量效率。最近的生物学研究为时空编码提供了证据（12,13），其中信息由尖峰的空间和时间出现表示。代表最强刺激的神经元首先出现尖峰，然后是表示低强度刺激的神经元尖峰（图S1B）（14）。这种时空编码能够实现具有相对较少的神经元和尖峰的高密度信息，因此具有高能量/面积效率（9,15）。
为了模拟生物神经网络的高突触密度和能量效率，引入了纳米级电阻开关器件（16,17），例如电阻随机存取存储器（RRAM）和相变存储器。这些器件是双端纳米级器件，可以响应外部刺激改变其电阻转换，类似于生物突触中的可塑性机制。最近，通过采用挥发性RRAM装置（18-20）报道了与生物突触和神经元行为的密切相似性。由于良好的缩放能力和与当今微电子系统的基于硅的技术的兼容性，电阻切换设备可以使得具有与人脑相当的复杂性的大规模神经网络的构造（21,22）。已经存在具有实值神经信号的传统ANN的硬件演示（23,24），通过交叉点阵列直接实现矩阵向量乘法（25-28），以及通过尖峰来承载信息的SNN 信号（21）。 然而，尖峰表示依赖于简单的空间编码，即，神经元同步尖峰以形成仅空间图案（21,29-32）。 能够利用RRAM突触进行时空计算的SNN将极大地提高神经形态硬件的能量和信息效率，从而加速向人类认知计算的进展。
1Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano, Piazza L. da Vinci 32, 20133 Milano, Italy. 2Micron Technology Inc., Boise, ID 83707, USA.
*Corresponding author. Email: daniele.ielmini@polimi.it
结果
RRAM 突触和网络结构
图1A示出了具有三个突触前神经元（PRE）的基本生物神经系统，其通过PRE轴突和POST阴茎之间的突触连接到突触后神经元（POST）。 当PRE发出尖峰时，动作电位通过其轴突传递到突触。 在不同时间刺激的PRE形成时空尖峰模式。 每个突触重量决定了在PRE加标时赋予POST的动作电位的量。 神经发射器控制突触重量的生物突触可以通过RRAM装置模拟（图1B），其中顶部电极（TE）和底部电极（BE）之间的电导由 介电层内的缺陷分布，如氧化铪（HfO2）（21,33）。
RRAM突触的基本特性如图1C所示。 对于施加到TE的正电压，突触可以从高电阻状态（HRS）切换到低电阻状态（LRS），也称为置位过程。 这是由于正离子化缺陷（例如氧空位）的迁移以及随后形成连接两个电极的导电细丝。 通过施加负电压，导电丝的迁移引起的断开导致复位过程，即从LRS切换到HRS。 注意，LRS电导由导电细丝的最终尺寸确定，而导电细丝的最终尺寸又取决于顺应电流IC，即，在设定转变期间可以提供给RRAM装置的最大电流（34）。 随着IC增加，在设定转变期间形成的导电细丝的尺寸增加，因此导致RRAM的突触重量增加。
为了实现突触权重的时间依赖性控制，我们将RRAM与图1D的突触电路中的场效应晶体管（FET）串联连接。单晶体管/单电阻（1T1R）突触由PRE通过FET栅极端子控制，并通过FET源极端子（21）将突触电流Isyn传送到POST。 PRE电路中的轴突端子（图S2B）将PRE尖峰整形为控制栅极的指数衰减脉冲Vaxon，从而形成FET电流。结果，施加到TE的PRE尖峰Vaxon和POST尖峰VTE之间的时间延迟导致RRAM装置的时间依赖性设置转变或突触增强，其形成RRAM突触的时空处理的基础（ 35）。轴突信号类似于动作电位的形状。为了表示输入尖峰的二进制特性以及使用类似动作的轴突信号作为时间信使的目的，我们在我们的电路中使用分离的符号用于PRE（soma）和轴突（图1D），尽管它们不能是生物学上有所区别
Wang et al., Sci. Adv. 2018; 4 : eaat4752 12 September 2018
1 of 8
SCIENCE ADVANCES | RESEARCH ARTICLE
PREs
C X10-4
VTE (V)
推理和训练算法
首先，我们考虑图2A中的简单3times;1神经网络，包括通过三个RRAM突触连接到单个POST的三个PRE和图2B中描绘的相应的时空识别。让我们假设具有时空编码的三个尖峰由具有序列1-2-3的三个PRE发出，并且突触权重从突触＃3到突触＃1以递减顺序发出。在这种情况下，POST接收的电流尖峰存在正的时间/幅度相关性，其中后来的尖峰具有更大的幅度。这在图2C中进一步示出，报告计算的时空编码的PRE尖峰（顶部），得到的轴突电位（中心）和POST内部电压Vint，其与突触电流的总和成比例，即Vint。 = RnSIsyn（下图），其中Rn是POST电路内跨阻抗放大器（TIA）的电阻（图S2A）。请注意，各个突触电流在POST的输入端通过Kirchhoff定律进行物理求和，因此表现为McCulloch-Pitts神经元的求和（36）。通过这种方式，POST Vint的泄漏行为直接来自轴突电位的指数形状，而不需要POST的泄漏整合和消防结构。在尖峰时间和突触权重（随着时间增加而增加的重量）之间的正相关的情况下，Vint相对较大，因此能够克服阈值Vth。然而，尖峰时间和突触权重之间的负相关性，即稍后由较因此，突触权重的值和顺序使得能够对特定序列（图2中的1-2-3）的选择性敏感性，即，通过网络识别时空模式的能力。
为了识别特定的时空模式，必须指示网络，使得突触权重与“真实”序列显示正相关，如图2C所示。为此，通过Widrow-Hoff（WH）学习规则（37-39）更新权重。根据WH规则（参见材料和方法以及图S4A和S5），在收集序列中的每个尖峰之后，POST将其输出信号与教师信号进行比较，该信号将尖峰模式标记为真。比较可能导致三种情况：如果POST和教师峰值都存在，则正确检测到真实模式（真正的火灾），因此不需要进一步更新重量。如果POST尖峰
Syn apse Fire
图1.生物和硬件神经网络的说明性方案。 （A）具有通过塑性突触与POST连接的PRE的生物神经子系统的图示。 PRE通过沿其轴突和突触产生动作电位而尖峰化。在不同时间刺激的PRE形成时空尖峰模式。 （B）生物突触可以由RRAM装置代表，其中电导率通过电压诱导的离子迁移和相应的导电细丝的形成/消散而改变。 （C）RRAM器件的典型电流 - 电压（IV）曲线，其中施加到TE的正电压引起设定转变（电阻从HRS变为LRS）和负电压引起复位转变（电阻从LRS变为HRS） 。向LRS的转变由顺应性电流IC控制，其中大IC导致LRS的高电导，从而实现RRAM突触的时间依赖性增强。 （D）1T1R突触的示意图，将PRE轴突连接到POST，后者提供增强和抑制的反馈峰值
存在而没有任何教师尖峰，则错误地检测到错误模式（假火），从而重新询问突触权重的抑制。通过施加幅度为VTE- lt;0的负更新尖峰来抑制突触（图1D），从而导致复位转换。最后，如果在教师的情况下不存在POST尖峰，则错误地错过了真实模式（假静音），因此需要增强突触权重以实现与尖峰序列的正相关。这是通过将具有幅度VTE gt; 0的正更新尖峰应用于突触来实现的，这导致突触权重的设定转变或增强。 PRE尖峰和POST尖峰之间的短延迟Dt = tPRE-tPOST导致强增强，而长Dt导致弱增强（图3A）。注意，这对应于尖峰定时相关的可塑性（STDP），其将尖峰定时与增强的强度相关联（37,40）。作为STDP的结果，突触权重被自动加强以获得与序列的正相关。
对于具有1T1R结构的基于HfO2的RRAM突触，具有时间依赖性的增强和抑制特征。 图3B总结了STDP特征，即最终和初始突触传导之间的比率G / G0，作为时间延迟Dt的函数（更多数据和测量细节可以在补充材料中看到）。
Downloaded from http://advances.sciencemag.org/ on February 28, 2019
Wang et al., Sci. Adv. 2018; 4 : eaat4752 12 September 2018
2 of 8
SCIENCE ADVANCES | RESEARCH ARTICLE
B
学习和识别尖峰序列
为了证明时空序列学习，我们在第一层采用了具有16个PRE的神经网络，通过16个RRAM突触完全连接到一个POST的第二层（图4A和图S4）。所有组件都组装在印刷电路板（PCB）上，Arduino Due微控制器（mC）作为监控器，为监督培训和随后的模式识别测试生成输入和教师峰值（图S4）。 16个PRE在每个训练周期中以四个尖峰的组接收时空编码模式，每个模式由主管标记为真/假。在每个模式中，尖峰以1ms的时间间隔分开，而50ms的暂停用于区分后续模式并允许恢复轴突电位Vaxon中的静止状态和内部电位Vint。假图案（例如，图4A中的周期1
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[443023]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
