一、概述
图像传感器是将光学图像信息转换为电信号的装置。随着20世纪30年代电视技术的发展，早期图像传感器技术最重要的贡献是建立扫描（Scan）二维空间平面上的光电信息通过扫描离散成行（Line）和帧（Frame），然后按空间顺序读取在一维时间轴上形成变化的电信号。该一维电信号通过存储和传输，然后通过扫描恢复和重建二维平面图像。扫描概念一直被使用到今天。
19688年到1969年，一篇论文设想在硅光电二极管上集成晶体管二极管上实现有源像素，然后通过传统的电子电路转换和读取像素阵列上的图像信息。然而，半导体集成电路技术仍处于起步阶段，难以实现如此复杂和精细的过程。经过20世纪80年代的发展，互补金属氧化物半导体CMOS技术进步迅速，CMOS集成电路不仅进入了集成规模的超大阶段，而且在模拟和数字集成电路技术方面也越来越完善。早期的有源像素假设最终在20世纪90年代实现CMOS在图像传感器上。。经过几十年的改进和发展，借助CMOS微电子工艺不断进步，CMOS图像传感器已成为图像传感器领域的主流技术，极大地促进了当今世界数字图像技术的快速发展。
CMOS图像传感器最重要的特点是在像素阵列中使用（Active Pixel Sensor，APS）。APS光电二极管的像素集成（PD）、有源的晶体管开关和放大电路，通过这些有源电路在转换，放大驱动信号电压。然后用传统的电子电路方法将像素信号切换到传感器外，实现图像信号的扫描输出。
CMOS图像传感器的第二个重要特点是使用CMOS集成半导体工艺组成和制造。与像素阵列相关的结构不仅可以很容易地集成在单个硅片上，还可以集成到其他硅片中CMOS模拟和数字电路。一般来说，最基本的CMOS图像传感器芯片还包括信号宽带放大和模数转换器电路，芯片可以直接从引脚上输出数字图像数据。高度集成不仅可以减少整机上的芯片数量，降低整机的功耗和包装成本，而且有利于提高信号传输的质量和速度，从而提高图像转换的质量。
二、CMOS图像传感器系统
1、CMOS 传感器的基本结构
2.光电转换概述
当光子进入半导体材料时，光子被吸收并刺激电子产生–空穴对称为光生载流子，如图2所示.3（a）所示。；或定义为η ，即每个入射光子激发的光生载流子数。
式中，Ne被激发的电子数；Nv为入射光子数。不同半导体材料对入射光的反应随波长而变化。对于硅材料，波长覆盖整个可见光范围，截止日期约为1.12μm近红外波长。
光电信号的噪声水平决定了最小的光功率，即光电转换的灵敏度。硅光电传感器的噪声组成包括：
- 来自信号和背景的散粒噪声（shot noise）；
- 闪烁噪声（flicker noise），即1/f 噪声；
- 来自电荷载流子热扰动的热噪声（thermal noise）。
当入射光子照射在半导体材料中时PN假如在PN结上施加电压生载流子形成电流，如图所示I-V 特性曲线V>0的正偏置段称为太阳能电池模式；PN结反向偏置V光电二极管模电二极管模式；I-V反向击穿段称为雪崩模式。光电转换元件通常在图像传感器中工作。PN结的反向电流Ileak为式中，Iph光生流子产生的电流；Idiff为扩散电流
在通常的CMOS在图像传感器中，光电转换的速度不是一个需要特别考虑的因素。然而，在一些高速摄影应用程序或一些潜在的未来超高速图像转换应用程序中，光电转换速度将被考虑在内。CMOS图像传感器中，对响应速度影响最大的将是少数载流子的扩散时间。
3、基本结构
一个典型的CMOS图像传感器的结构如下图所示。该结构包括有源像素传感器（APS）构成像素阵列（pixel array）、垂直扫描电路（vertical scan）、每列像素共享的列读取通道和列选择开关、模拟图像信号放大器、模数转换器和图像数据输出等。控制器控制每个图像信息访问部件，并进行所需的曝光-读取同步操作。控制数据通常通过串行数据输入端口（如IIC、SPI）在控制数据存储器中输入并存储。
CMOS图像传感器的像素是有源像素传感器APS，每个像素中都有一个光电二极管作为基本的光电转换元件。每个像素还包括几个MOS由晶体管有源器件组成的电路将光子放置在光电二极管中PN激发的载流子电荷信号转换为电压信号，光电二极管的曝光操作和信号输出由模拟开关控制。在大多数阵列设计中，像素几何形状为正方形，像素在阵列中正交。水平排列的像素构成行（Row），每行由M 个像素组成，垂直方向的像素组成列（Column），整个阵列由M列和N阵列的总像素是由行像素组成的M×N。
，因为阵列中一般的曝光和读出是按行进行的，所以垂直扫描实际上就是实现按行操作阵列的曝光和读出。水平扫描操作实际上是当一行执行读取时，顺序扫描读取该行中每个像素的信号，由列模拟开关依次打开。垂直和水平扫描系统用于控制和操作整个阵列的曝光和读取。
阵列中，在有M列像素阵列中有M一个完全相同的通道电路放大和模拟信号，以获得和改进一列像素的图像信号。列中选择的图像信号通过可变增益的宽带模拟放大器输入高速模拟数字转换电路。模拟图像信号在模拟转换电路上转换为数字图像数据，并以串行或并行的格式输出到集成电路芯片的引脚上。
4、APS介绍
光电二极管在像素中。光电二极管PD实际受光面积APD总像素面积Apix的比例称为填充系数（Fill Factor，FF），用于表达因面积比例而产生的不同像素地图的光效：FF＝APD/Apix 。在类型中，像素面积为Apix＝Wpix·Hpix 式中，Wpix像素宽度；Hpix是像素高度，即像素中包含的面积。在大多数像素设计中Wpix＝Hpix，正方形为像素形状。
路中像素上的所有晶体管 ，并与光电二极管共享N+扩散有源区，今天大部分CMOS图像传感器设计都采用这样的结构。 事实上，像素中的重置开关和选择开关传递正电压。仅从场效应晶体管的导通性来看，应使用这两个开关P型的MOSFET更合理。但如果在电路中引入P型MOSFET，必须在地图上安排N阱。而N陷阱设计规则要求周围和周围N型光电二极管PD保持较大的空间距离会减少像素上光电二极管的面积，从而降低像素的填充系数FF。 在像素总面积足够大的阵列中，当光电二极管面积减小时，可以考虑这两个开关管P型MOSFET，为了提高导通性，获得更好的电性能。
（1）3T-APS
最简单、最基本的有源像素传感器（APS）它由三个晶体管和一个光电二极管组成，用英语缩写3T-APS表示。这种像素电路如图所示，其中Trst重置开关晶体管，Tsf是源极跟随器，Tsel选用开关晶体管和光电二极管作为光电转换PD。
在曝光开始时，通过重置信号（Reset）打开重置开关Trst，光电二极管PD反向偏置到重置电压Vrst上。这个电压是对的PD的PN结电容充电，充电电荷Qrst为Qrst＝CPD·Vrst ，式中，CPD光电二极管PN结电容。当Trst充电后关闭，光电二极管PD当进入射光强度时，结点变成悬浮状态Iph＝0时，电压Vrst和Qrst保持电容CPD上。做二极管PN结上有入射光Iph光量子在照射时受到刺激PN结上产生电子-空穴对，使PN结电容上的电荷复合，电容上的电荷量QPD开始从Qrst下降值。在不同的光强度下。Iph在光电二极管上，电荷下降的速率不同。光电二极管上的电压为VPD＝QPD/CPD。
经过源极跟随器Tsf，二极管电压VPD转换成输出电压Vout。图中光电二极管在不同光照强度Iph1＜Iph2＜Iph3照射下，经过相同曝光时间Texp后，较高光照下产生较多数量的光生载流子，被符合后的QPD电荷量更低，所以有QPD1＞QPD2＞QPD3，使PD电压有VPD1＞VPD2＞VPD3。经过源极跟随器输出不同的电压值VO1＞VO2＞VO3，这里源极跟随器的电压增益略小于1。
从重置信号（Reset）结束，到选择信号（Select）开始之间的时间为像素的曝光时间Texp。
（2）4T-APS
为了使APS像素在提高光电二极管面积的同时，提高输出模拟信号电压以提高信号电压的信噪比，4T-APS像素在3T-APS像素的结构基础上，增加一个传输门TX和一个悬浮的N型扩散（Floating Diffusion，FD），FD在P衬底上形成的PN结电容，成为第二个电荷存储器件。
这个像素在重置期间，同时开启重置开关Trst和传输门TX，使PD电容CPD和FD电容CFD都充电到Vrst电压上来。经过曝光时间完成曝光后，第二次开启传输门TX，使聚集在光电二极管PD的悬浮反型层下面的电荷，传输到悬浮的N型扩散区FD，并在TX关闭后保持在FD电容上，形成电压VFD。VFD通过源极跟随器输出电压Voutput，经由选择开关Tsel控制读出。
5、芯片封装
CMOS图像传感器一般采用标准的集成电路芯片封装，floor plan如下图
在外壳的传感器阵列上方，制作一个光学玻璃窗口，使被摄物体的光学图像经过透镜聚焦，成像在芯片的像素阵列平面上。在这里，透镜系统的光学中轴线，必须对准传感器阵列平面的几何中心，并与成像平面精密垂直。
工作原理
一、像素阵列结构
一般像素阵列是由的。像素排列的最基本设计原则是：摄像器件像素排列的坐标，必须在显示的时候能够准确地还原在图像原来的相对位置上。在大多数情况下，每个像素中心线在行的方向和列的方向，即垂直和水平两个方向的步距（Pitch）是相等的。为了充分利用像素阵列的面积，通常像素的高度Hpix和宽度Wpix尺寸分别与像素的垂直步距Prow和水平步距Pcol相等，即像素之间在垂直和水平方向都不留空隙。所以在水平和垂直两个方向步距相同的阵列中，像素形状也应该是正方形的。
阵列中列数M和行数N决定了图像的分辨率，总有效像素数NP为 在这样的一个阵列中，列数与行数之比决定了图像的宽长比Aspect：
阵列中。如果是4T-APS像素阵列，。像素阵列的曝光过程是以像素重置作为开始的，而选择输出将作为曝光结束，并等待下一次曝光即下一次重置开始的。在这个结构中，每行像素执行相同的重置、传输和选择操作，即每一行像素共享这些控制信号的曝光-读出时序，即在。在阵列的垂直方向，每一列像素共享一个列输出总线，并最终连接到一个 恒流源，作为这一列每个像素中源极跟随器Tsf的共享负载。在整个像素阵列中，，所以从每一列输出总线上同时输出的就是这一被选中行的每个像素的信号。在整个阵列中所有的电源是连接在一起的，在一列中共享一根电源线，如果有单独的重置电源Vrst或VT5之类的辅助电源，也将在整个阵列上分别连接在一起。
二、电子快门曝光
CMOS图像传感器用电子快门控制曝光，相同结构阵列的不同工作方式和时序，可以产生不同的电子快门方式。这里讨论最常见的滚动快门和全局快门曝光方式。
1、滚动快门曝光
滚动快门（）曝光是CMOS图像传感器阵列最基本的工作方式之一。如前所述图像阵列的重置、传输和选择是按行操作的，在滚动快门曝光的开始，每一行的重置控制信号Reset（0）、Reset（1）、Reset（2）、…、Reset（N-1），依次间隔相同的时间，开启重置执行曝光开始操作，直到阵列所有的行都开始曝光。
像素阵列在滚动模式下可以实现连续曝光，条件是曝光时间Texp必须小于帧周期时间Tframe，否则无法完成整帧的曝光过程。但是因为曝光的开始和结束都是滚动的，相邻行间隔时间Trow都是相同的，所以只要某一行曝光已经结束，这一行就可以重置开始下一帧画面操作，而不必等待阵列中所有行的像素都完成曝光和读出的全部操作。
阵列中，
2、全局快门曝光
滚动快门曝光在拍摄物体运动图像和有闪光图像时，会产生被摄图像的运动失真和闪光失真，尤其在静止图像摄影中，快门失真会令人难以容忍。在滚动快门曝光的图像上，每一行都是在不同时间点开始和结束曝光的。如果被摄物体在曝光过程中高速运动，整幅图像在完成曝光的过程中，目标物体已经发生位移。先曝光的画面部分与后曝光的同一画面部分在不同的相对空间位置上了，使成像的物体形状产生失真。在拍摄有闪光画面时，如果闪光发生的时间与一幅图像的曝光时间可比，可能在一帧图像曝光过程中，闪光发生了从发生、增强、达到最高、降低和消失的过程。这样一来，不同时间曝光的画面部分，被光照射的强度也不相同，造成画面的闪光失真。。CMOS图像传感器的电子快门，可以使用全局快门（）曝光的方法，解决运动和闪光失真的问题。
在CMOS图像传感器上实现全局快门曝光，可以充分利用APS像素传感器阵列的有源电路特点。4T-APS可以用全局快门时序来控制曝光。全局快门的曝光过程，就是将整个阵列的像素；曝光完成后把每个像素捕获的光电信号同时存储在各自的悬浮扩散区FD中，然后用。这里所讨论的全局快门曝光方法，是建立在像素信息存储在悬浮扩散区FD中的基础上，保证全阵列像素相同的曝光开始和结束时间。
在全局快门曝光的时序中，阵列中所有像素的重置同时开启，开始阵列像素的曝光操作；经过曝光时间Texp后，全阵列像素的传输门同时第二次开启使曝光结束，所有光电二极管中的光生电荷传输到各自像素的悬浮扩散区FD，然后滚动逐行开启每一行像素的选择开关Select，依次读出每一行的信号电压。在滚动读出的过程中，尚未读出的信号存储在各自像素的CFD中，等待滚动选择读出。因为读出时所有传输门都已经关闭，光电二极管上的电荷变化不会再影响输出结果。
两种快门曝光方式的另外一个不同之处在于：滚动快门的曝光-读出操作是按行执行的，因此 的，且最小曝光时间为一倍的Trow。而全局快门曝光因为是阵列上所有的像素同时开始和结束曝光， ，曝光时间则可以几乎完全自由设定。
三、读出电路
1、固定图案噪声
任何一种在传感器阵列平面上转换光电信号的技术方案，都会遭遇到转换阵列平面制造不均匀而产生的固定图案噪声（）问题，尽管不同方案的转换阵列平面产生这种噪声的机理并不完全相同。
由于固定图案噪声的影响，在没有光信号照射的情况下，传感器阵列也会输出一个固定不变的图案信号；而在有光学图像照射的情况下，这个固定图案信号会叠加在真实的图像信号上面。
采用APS有源像素的CMOS图像传感器阵列，固定图案噪声的来源有：
- 有源晶体管开启电压Vth不一致；
- 重置开关导通电阻Ron不一致；
- 由导通电阻的不一致引起热噪声kBTRon不一致；
- 光电二极管的暗电流Idark不一致；
- 列选择开关和列处理电路参数的不一致。
采用APS像素的传感器阵列因为有源器件数量多，产生参数偏差的情况更为复杂，与只有一个光电二极管的无源像素（PPS）阵列方案相比，固定图案噪声值也更高。幸好CMOS图像传感器的技术优势帮助弥补了这个问题：在传感器阵列芯片上同时集成CMOS模拟和数字电路，用以修正叠加在有用图像信号上的固定图案噪声偏差。其中最常用的和证明有效的模拟信号处理方法，就 是采用相关双采样电路（CDS）。
2、相关双采样
相关双取样（电路不是直接测量阵列中每个像素曝光完成后的输出电压，而是在每个像素曝光过程中测量两次输出电压：
- 第一次测量在曝光的开始时刻取样；
- 第二次测量在曝光的结束时刻取样。
相关双取样电路输出的是这两次取样测量的电压差值。
VCDS＝VO2-VO1 式中，VO1是第一次取样得到的曝光开始时刻像素的输出电压值，它作为第二次取样输出电压的相关值；VO2是第二次取样得到的曝光结束时刻像素的输出电压值，两次取样的过程被称为相关双采样。阵列中每个像素两次取样测量中的偏差值将被抵消。从而修正了整幅图像信号的固定图案噪声（FPN）误差。
以4T-APS像素为例，一般采用差分电路读出，结构如下图
下图为为这个电路的工作过程和控制时序，在TX第二次开启之前，列通道电路的S1开启，实现第一次取样，测量到的电压VO1就是保持在悬浮二极管FD上的重置电压VO1＝VFD1＝Vrst，这个电压保持在电容CS1上。在TX第二次开启之后，悬浮二极管FD上存储曝光终点电压VFD2，然后CDS读出电路进行第二次取样，开关S2开启对VFD2取样，并保持在电容CS2上形成VO2。最后SCDS开启把保持在电 容上的VO1和VO2同时输入到差分放大器，输出：在两次取样的时间内，行选择信号Select保持开启，使CDS读出电路完成相关双取样运算过程。在4T-APS像素阵列的曝光操作中，曝光时间为两次传输门TX开启之间的时间间隔。
3、读出速率
一幅图像中的每一个像素的模拟电压信息，从被选择的行和被选择的列，按顺序读出到模拟放大器。。这一时间的数值，受行像素选择开关Select（）x）的速度、列共享输出总线长度的分布电容、列通道的带宽、CDS采样电路的时序、列选择开关Sc（）x）的速度和模拟放大器的带宽等因素影响。受器件和电路性能参数的制约，像素信号读出时间Tpix大约是在10到数十纳秒之间。这样的信息传输速度对于高刷新率和高清晰度图像是远远不能满足要求的，所以从最初设计的CMOS图像传感器开始，就采用了多列像素信号并行输出模式。即在同样的Tpix时间延迟下，并行读出Ncol列的像素信号。列并行读出的像素读出速率（）为从最早期设计的CMOS图像传感器Ncol＝2，当前数字影院摄像器件已经达到Ncol＝100数量级。
提高像素阵列的图像读出并行列数，对于提高图像的帧刷新率和清晰度是至关重要的。一帧像素阵列的读出时间Tframe为：式中，M 为像素阵列的列数；N为行数；NP为阵列总像素数。对于连续图像，阵列刷新率（）为：
在CMOS图像传感器集成电路上，并行列输出的像素模拟信号，通过集成在同一芯片上的Ncol组模数转换器（ADC）转换成数字信号，然后利用先进的高速并行数据传输标准，输出数字图像数据到芯片引脚上。表4.2列出像素阵列的刷新率、像素读出速率和图像阵列的并行像素列数。在高清晰度和高刷新率要求下，只有高并行像素列数NPC，才能传输和处理高达吉比特每秒（Gb/s）的图像信号数据率。
4、并行读出
早期CMOS图像传感器上最简单的并行列读出结构是由两组构成的，采用由奇数列和偶数列两路并行输出的方式。如图所示，列模拟开关S（0）、S（2）、S（4）、…，选择阵列的偶数列像素信号输入模拟放大器Amp 0，然后经模数转换器ADC 0变换成偶数列数据输出；列模拟开关S（1）、S（3）、S（5）、…，选择阵列的奇数列像素信号输入模拟放大器Amp1，然后经模数转换器ADC 1变换成奇数列数据输出。
四、基本工作过程
一个4T-APS像素阵列的滚动快门曝光读出时如图所示，图中每一行曝光-读出过程的重置、传输、选择和相关双取样（CDS）运算都与上面所描述的一样，这里的讨论将省略S1和S2两次取样的时序。
由Reset（x）和TX（x）控制第（x）行重置开始曝光之后，经过行间隔时间Trow，下一行（x＋1）开始曝光，并依次间隔相同时间Trow，（x＋2）、（x＋3）…行开始曝光。每一行曝光后经过相同的曝光时间Texp，传输门TX（x＋n）分别依次第二次开启，在TX（x＋n）前后选择Select（x＋n）开启，然后经过双取样运算CDS依次输出每一行像素的光电转换信号VCDS（x ＋n ），这里n ＝0、1、2、…。当某一行像素被选择输出时，这一行中的每一个像素的光电转换信号，都通过各自的列通道输出。在每一个行间隔时间Trow内，列输出开关Sc（0）、Sc（1）、Sc（2）、…轮流开启，把像素信号依次输出到信号总线上去，这个操作称为水平扫描。阵列中的每一行像素曝光后，这一行所有像素信号全部顺序完成CDS读出，就可以开始下一幅图像的曝光，而不必等待一帧图像信号全部完成曝光和信号输出。连续地反复曝光和读出，就形成了连续滚动电子快门操作。
