提示:文章完成后,目录可以自动生成,如何生成可以参考右边的帮助文档
文章目录
- 前言
- 一、智能传感器
- 二、传感器端计算的结构
-
- 1.感知
- 2.存储、计算
- 三、集成
- 四、算法
- 总结
前言
下一个时代是人工智能时代,人工智能时代是传感器时代,传感器时代。传感器必须具有一定的信息处理功能,不再是简单的数据收集设备,而是相对独立的()、()、()单元的。
传感器节点在感知网络中的数量迅速增加,导致感知终端与计算单元之间的大量冗余数据交换 。为了更有效地处理这些数据,降低计算功耗,有必要开发一种新的计算范式,减少这些冗余数据在感知终端和计算单元之间的来回处理,这就是所谓的,或者。顾名思义,近传感器计算是在传感器附近进行数据操作,传感器操作是在传感器内部单元进行某些数据操作。 传统传感器网络的主要结构:感知终端负责本地数据采集,不处理采集到的信号,傻瓜上传到云服务器,云服务器进一步信号分析,如有必要,远端服务器通过网络传输回到感知终端相关的结果信息。在这个过程中,它会导致一些需要解决的问题。 1.感知终端采样数据量大,需要传输到云端(); 2.通过网络通过数据通信感知终端和云会导致一定的数据通信(),这在很多情况下是无法忍受的(如无人驾驶领域等)。 3.感知终端采样到的数据不经处理直接传输,会带来()问题; 4.在本地和云传输过程中,信息可能被盗并带来()的问题; 5.需要感知终端收集的大量原始信息() ·············
一、智能传感器
什么是智能传感器?智能传感器不再仅仅是终端采集信号的设备,还需要在一定程度上处理采集到的信号。 噪声抑制、滤波、背景提取、特征增强、运动提取等低级任务处理; 对图像、语音信号识别、分类、定位等高级任务进行处理
二、传感器端计算的结构
传感器端计算的主要功能可分为感知、存储和计算三个部分
1.感知
感知部分由传感器完成(sensor),图像传感器对于不同的任务场景有不同的传感器(CMOS image sensor, CIS)、压力传感器、触觉传感器、气体传感器等,本质上是将外部物理信息转换为相应的模拟信号。图像传感器CIS举例说明。 图像传感器利用光电效应将外部光信号转换为电信号,并提交后续功能层进一步处理。
2.存储、计算
感知层图像传感器输出的模拟电信号,输入存储和计算层。冯诺依曼架构可以完成传感器端计算的任务,但数据在存储和计算层之间的处理是不可避免的,这是冯诺依曼架构本身固有的缺点。 通过忆阻器阵列,可实现功能。(这里不详细介绍记忆阻器的神奇功能,感兴趣的读者可以在网上阅读记忆阻器的相关材料)。记忆阻器阵列基于欧姆定律和基尔霍夫电流定律完成网络操作中的乘法和加法操作。
三、集成
传感器端计算的三个功能层已经确定,那么如何连接这三个部分呢?
这是四种不同的集成方式,具体内容不再详细,可以参考书籍handbook of 3D integration全三册 个人认为,在实际制造中,更可行的方法应该是三维异质集成,CIS与存算芯片在不同的生产线上生产,通过wafer bonding或者hybrid bonding连接两部分的方式可以满足CIS至于高带宽的要求,CIS如何在传输到存算芯片的过程中保持信号的真实性,又是一个棘手的问题。
四、算法
为了完成上述一些低级或高级的操作任务,需要考虑算法。 现有的神经网络模型,resnet、Alexnet当然,其他网络可以实现良好的识别和分类功能,但其模型较大,网络参数较多,难以部署在当前的计算阵列中,因此需要压缩神经网络模型,包括剪枝量化、参数共享等。 在将感知到的模拟信号输入神经网络之前,是否可以预处理信号,降低信号维度,保留有效信息,以减少任务的计算。
总结
本文介绍了集成感应存储和计算的智能传感器的基本知识,希望能给您带来一些帮助。在人工智能时代,在一些低延迟或数据密集的领域,智能传感器有很大的前同努力。
关于传感端计算的研究已经发表了许多文章,这里有几篇文章链接供参考。
- Du, Z. et al. ShiDianNao: shifting vision processing closer to the sensor. In Proc. 42nd Annual International Symposium on Computer Architecture (ISCA) 92–104 (ACM and IEEE, 2015).
- Chen, T. et al. Diannao: a small-footprint high-throughput accelerator for ubiquitous machine-learning. ACM SIGARCH Computer Architecture News 42, 269–284 (2014).
- Hsu, T.-H. et al. AI edge devices using computing-in-memory and processing-in-sensor: from system to device. IEEE Int. Electron Devices Meet. 22.25.21–2225.24 (2019).
- Amir, M. et al. NeuroSensor: a 3D image sensor with integrated neural accelerator. In 2016 IEEE SOI-3D-Subthreshold Microelectronics Technology Unified Conference (S3S) 1–2 (IEEE, 2016).
- Amir, M. F ., Ko, J. H., Na, T., Kim, D. & Mukhopadhyay, S. 3-D stacked image sensor with deep neural network computation. IEEE Sens. J. 18, 4187–4199 (2018).
- LiKamWa, R., Hou, Y ., Gao, J., Polansky, M. & Zhong, L. RedEye: analog ConvNet image sensor architecture for continuous mobile vision. ACM SIGARCH Computer Architecture News 44, 255–266 (2016).
- Li, C. et al. Analogue signal and image processing with large memristor crossbars. Nat. Electron. 1, 52–59 (2018).
- Zidan, M. A., Strachan, J. P . & Lu, W . D. The future of electronics based on memristive systems. Nat. Electron. 1, 22–29 (2018).
- Chu, M. et al. Neuromorphic hardware system for visua pattern recognition with memristor array and CMOS neuron. IEEE Trans. Ind. Electron. 62, 2410–2419 (2014).
- Mennel, L. et al. Ultrafast machine vision with 2D material neural network image sensors. Nature 579, 62–66 (2020).
- Hsieh, H.-Y . & Tang, K.-T. VLSI implementation of a bio-inspired olfactory spiking neural network. IEEE Trans. Neural Netw. Learn. Syst. 23, 1065–1073 (2012).
- Shulaker, M. M. et al. Three-dimensional integration of nanotechnologies for computing and data storage on a single chip. Nature 547, 74–78 (2017).