??上学期听了何玉辉老师的《类脑计算与器件》课程，文章也是对上学期课堂内容的总结。
参考文献：
- [1] Nature Communications 2017, Face classification using electronic synapses
- [2] Nature 2015, Training andoperation of an integrated neuromorphic network based on metal-oxide memristors
- [3] IEDM 2015, Experimental demonstration and tolerancing of a large-scale neural network (165,000 synapses), using phase-change memory as the synaptic weight element
- [4] TNNLS 2015, Supervised Learning Using Spike-Timing-Dependent Plasticity of Memristive Synapses
- [5] IEDM 2019, Complementary Graphene-Ferroelectric Transistors (C-GFTs) as Synapses with Modulatable Plasticity for Supervised Learning
- [6] VLSI 2016, Novel RRAM-enabled 1T1R synapse capable of low-power STDP via burst-mode communication and real-time unsupervised machine learning
- [7] Nature Electronics 2019, Reinforcement learning with analogue memristor arrays
- [8] IJCNN 2016, Memristor Crossbar Deep Network Implementation Based on a Convolutional Neural Network
- [9] IJCNN 2017, Extremely Parallel Memristor Crossbar Architecture for Convolutional Neural Network Implementation
- [10] Nature Nanotechnology 2017, Sparse coding with memristor networks
忆阻器
??记忆电阻器是一个总称，它通常指电导器可以连续调整，并且可以保存调整结果。主要包括：阻变存储器、相变存储器、铁电晶体管、浮栅晶体管等。 
??氧化了阻变存储器HfO2例如，它有一半的低阻区（LR）一半高阻区（HR）。两端加小电压时，LR和HR界面之间几乎没有移动；当增加较大的电压时，会有氧空间（Oxygen Vacancies）移动界面，导致界面漂移。LR区域越多，整体电导越大，反之亦然HR电导越小，面积越大。外加电压与电导的调整量不是线性的，外加电压主要添加到HR随着区域HR减少区域，HR该区域的场强会越来越大，氧空位移动速度会加快。此外，氧空位本身也会漂移，这给设备带来了很大的随机性。 ??相变存储器（Phase Change Memory，PCM），它是一种依靠晶态和非晶态变化来改变电导率的装置。它来自非晶态（amorphous）向晶态（cubic）电导值可以在变化过程中持续增加，但从晶态到非晶态的电导是突变的，这与其物理机制有关。
??从非晶态到晶态的过程称为annealing与上图中的添加相对应Set温度曲线应超过结晶温度 T c r y s \rm T_{crys} Tcrys，但不能达到熔化温度。从晶体到非晶体的过程称为melt-quenching，需要将温度高度提高到熔融温度 T m e l t \rm T_{melt} Tmelt，并快速冷却，对应图中的图片Reset曲线。 ??那么如何控制设备的温度呢？其实相当于电阻加热，加热功率是 V 2 / R V^2/R V2/R，所以在读PCM的电导值是，外加一个小电压，也会产生一定的热效应，对应图中的Read曲线。
用于人工神经网路的忆阻器，我们比较关心它的线性度。长时增强效应（long term potentiation, LTP）和长时抑制效应（long term depression，LTD）是两个重要的衡量指标。阻变存储器的LTP和LTD虽然可能没有上图中那么线性，但大体还是有缓慢增加或减少的趋势，而相变存储器的LTD则是电导值始终位置在较低的水平。 铁电晶体管与浮栅晶体管的原理类似。浮栅晶体管是Nand Flash的基本构成单元，它的栅介质层中有一个“浮栅”，主要材料是多晶硅。在外加电压作用下，衬底电荷利用隧穿效应可以在浮栅与衬底之间穿梭，电荷能够留存在浮栅中，起到保存沟道电导值的目的。铁电晶体管的栅介质层是铁电材料，它可以被外加电压极化，并维持极化的状态。
1T1R突触结构
论文[1]中介绍了利用1个晶体管+1个RRAM作为突触，利用感知机模型实现人脸分类。人脸图像20×16个像素，训练样本包含三个不同的人的人脸。 f ( x ) = s i g n ( ω T x + b ) f(x) = {\mathop{\rm sign}\nolimits} \left( { {\omega ^T}x + b} \right) f(x)=sign(ωTx+b) 从算法层面说，每个样本320维，权值 ω \omega ω也是320维，每个样本带有一个标签，将样本送入感知机，得到结果，与预期结果对比，利用梯度下降法更新权值。感知机模型中用的符号函数 s i g n ( ) \rm sign() sign()不是连续可导的，不能用梯度下降法，因此可以用双曲正切函数近似。
f ( x ) = tanh ( ω T x + b ) tanh ( a ) = sinh a cosh a = e a − e − a e a + e − a f(x) = \tanh \left( { {\omega ^T}x + b} \right)\;\;\;\tanh (a) = { {\sinh a} \over {\cosh a} } = { { {e^a} - {e^{ - a} } } \over { {e^a}{\rm{ + } }{e^{ - a} } } } f(x)=tanh(ωTx+b)tanh(a)=coshasinha=ea+e−aea−e−a
但从算法方面考虑这一问题比较简单，硬件实现会有一些额外的问题。在硬件上，每个突触与一个权值对应。突触阵列能够方便地完成向量矩阵乘法（VMM），因为它是并行的乘加运算。所以RRAM阵列很适合用来做前向推理，但是更新权值比较麻烦。 它非常依赖外部的计算资源，比如梯度下降法计算权值的更新量，这是在阵列外部完成的，我们需要考虑更改权值也就是突触电导值的策略。
| 层面 | 法则1 | 法则2 |
|---|---|---|
| 算法 | Delta Rule | Manhattan Rule |
| 硬件 | Write with Verify | Wirte without Verify |
主要有两种方式，“Delta Rule”就是精准改变权值，计算出 ω \omega ω需要改变多少就改变多少。而前面提到RRAM的电导调整是非线性的，因此每次改电导值都需要再读出来确认是否改到位了。 另一种方式是“Manhattan Rule”，它只关心权值改变的方向，比如 ω \omega ω需要增大，那么这次修改就增大一次 ω \omega ω对应的电导值，而不关心实际电导变为了多少。后者因为没有验证权值更新的过程，所以相对来说需要更多的样本才能收敛，前者在修改单个权值时是do-while循环，时间不可控，而后者每次修改单个权值不需要循环，非常快。从总的时间上来说前者需要的时间更多，但考虑到功耗和训练结果等指标后，前者的性能更好。 还有“Online learning”和“Batch learning”的概念的区分。人工神经网络通常采用Batch learing。Batch learning需要一次性输入一批数据，然后把每个权值的权重改变量累加。这样做使得每次权重调整更容易找到整体的梯度下降最快的方向，缺点是需要对一批数据进行存储。而Online learning则是每次输入一个样本就调整一次权重，与Batch learning相比不需要暂存权重改变量，但是它需要对权值调整很多次，而且不同的样本输入顺序可能会得到不同的学习结果。 人工神经网络所采用的的器件的耐久是有限的，不管是浮栅晶体管的隧穿效应还是RRAM内的晶格碰撞，都会损害器件的寿命。所以人们一般希望对权重的改写次数少一些，所以采用Batch learning的策略较多。 忆阻器件作为神经网络突触还会考虑到很多因素。multilevels和retention之间有一个trade-off。multilevels和神经网络的训练精度有关，因为一个特定的能态对应于一个突触的权值，在一定范围内能态越多，权值的精度越高。随着能态的增多，能态之间的间隔越来越小，容易发生隧穿，所以它的保持特性retention会比较差。还有器件的variation也是一个比较严重的问题，variation包括Part to Part(aka. PtP) variation和Device to Device(aka. DtD) variation。但就像大脑有代偿能力，神经网络里的一个突触如果出了问题，还有其它突触也能够进行补偿。
潜行通路
1T1R用一个晶体管来选通RRAM，实际上一个晶体管的面积非常大，所以我们可以想办法把晶体管省去。但如果仅仅是把晶体管省去，就会引入潜行通路的问题。 在存在晶体管的时候，晶体管起到选通的作用。利用晶体管的导通和关断可以同时对多个RRAM调整电导值。没有了晶体管之后就只能逐个对单个突触的电导值进行修改。相当于用一根字线和一根位线选中一个bit，而其余字线和位线都悬空。之所以悬空而不是接固定电平是出于功耗的考虑，这一悬空带来的问题就是潜行通路。
如上图所示，我们希望 V i V_i Vi只通过蓝色的路线对 I j I_j Ij有贡献，但实际上由于 V i + 1 V_{i+1} Vi+1悬空， V i V_i Vi还会通过绿色的路线对 I j I_j Ij产生贡献，这就是潜行通路（sneak path）。
1S1R突触结构
针对潜行通路的问题主要有两种办法，一种是用类似二极管的器件切断潜行通路，另一种是用差分对的结构进行补偿。这里先介绍第一种，就是1S1R的结构。 1S1R中的S指的是选通管（Selector），它是一种类似二极管的器件，但相比于二极管，它的正向导通压降更低（几乎没有），它的传输特性曲线如上图所示。它的一个重要的特性就是它导通后，只要电压不低于Vhold就能维持在低阻态。
选通管几乎不会占用多余的面积，它与RRAM的工艺兼容性更好。如上图所示，它能够直接切断潜行通路。
差分对突触结构
第二种解决潜行通路的办法是引入差分对。
用两个突触电导的差来代表权重。
G i j = G i j + − G i j − {G_{ij} } = G_{ij}^ + - G_{ij}^ - Gij=Gij+−Gij−
对于电流 I j + I_j^+ Ij+，我们可以把它的组成分为三类，一类是 V i V_i Vi仅通过 G i j + G_{ij}^ + Gij+产生的电流；一类是 V i V_i Vi经过 I j − I_j^- Ij−所在路径的潜行通路电流，注意这部分电流不只图中画的蓝色部分，类似蓝色部分的电流还有好多条，可以把这部分电流对应的电导记作 Δ G 1 \Delta G_1 ΔG1；最后一类是 V i V_i Vi通过其它的潜行通路产生的电流，记作 Δ G 2 \Delta G_2 ΔG2。
I j + = V i G i j + + V i ( Δ G 1 + Δ G 2 ) I j − = V i G i j − + V i ( Δ G 1 ′ + Δ G 2 ) \begin{array}{l} I_j^ + = {V_i}G_{ij}^ + + {V_i}(\Delta {G_1} + \Delta {G_2})\\ I_j^ - = {V_i}G_{ij}^ - + {V_i}(\Delta G_1' + \Delta {G_2}) \end{array} Ij+=ViGij++Vi(ΔG1+ΔG2)Ij−=ViGij−+Vi(ΔG1′+ΔG2)
当输入向量维度比较大时，可以把 Δ G 1 \Delta G_1 ΔG1和 Δ G 1 ′ \Delta G_1' ΔG1′看做近似相等，那么：
I j + − I j − = V i ( G i j + − G i j − ) I_j^ + - I_j^ - = {V_i}(G_{ij}^ + - G_{ij}^ - ) Ij+−Ij−=Vi(Gij+−Gij−)
这样就抵消了潜行通路的影响。论文[2]就是采用了这样的设计方法。
文中作者实现了对“Z”、“V”、“R”三种模式的识别，每个字母都是一个3×3的样本。值得注意的技巧是，作者改写电导值用的“半电压”。写电压为 V w V_w Vw，在突触两端分别施加 V w / 2 V_w/2 Vw/2和 − V w / 2 -V_w/2 −Vw/2来达到改写电导值的目的，这么做有利于降低功耗。 还有一个需要考虑的问题是，现在 G G G是由两个数相减得到的，当我需要增大 G G G时，是增大被减数还是减小减数？这个和器件的LTP、LTD有关。比如PCM的LTD反应出它的电导值不能连续减小，因此它不适合采用减小减数的方法。 器件的电导值是有界的，比如我采用PCM作为突触，增大权重采用增大 G + G^+ G+的方法，减小权重采用增大 G − G^- G−的方法，那么它们俩的电导值肯定在一段时间后会达到极限。因此需要每过一段时间将 G + − G − G^+-G^- G 标签： rv097g电位器sk315二极管02x1氧传感器