转载： https://deepinout.com/camera-system/camera-how-cmos-image-sensor-works.html
整理:小驰笔记
我们都知道有两种半导体图像传感器：CMOS Sensor和CCD Sensor，广泛应用于当前消费电子领域CMOS图像传感器，所以本节只介绍CMOS图像传感器的基本知识。
文章目录
-
1CMOS Sensor构造
-
2Camera Sensor平面构造图
-
3光子和量子效率
-
3.1与量子效率QE有关的概念
-
-
4Camera Sensor感光过程
-
5Camera Sensor读取感光结果
-
6Camera Sensor动态范围
-
7Camera Sensor时序
-
8Camera Sensor Noise
CMOS Sensor构造
手机上的CMOS图像传感器的结构如下
它是一组像栈一样垂直排列的装置
-
顶部是镜头(物镜)
-
镜头下面是IR Filter，用于过滤红外线
-
IR Filter下面是很多小的Lens组成的阵列
-
ColorFilter：入射光通过RGB的ColorFilter分成R、G、B的光线
-
R、G、B光线投射在Sensor Array上面，这里的Sensor Array就是Bayer Sensor Array
-
最下面是PCB电路板
Camera Sensor平面构造图
下面中是Camera Sensor整个灰色部分的平面结构图是PCB：
-
中间蓝是核心部分：Active Pixels
-
上灰色部分：光遮黑电平（Optical Black）
-
完全用金属挡住Sensor上面，遮光，使它完全不感光，这部分反映的颜色就是所谓的Optical Black
-
以下灰色部分：Dummy Border
-
不需要一些像素，但是切割的时候不能切割，就留在这里。
-
左：电源管理模块（Power Management）
-
右边部分：Control/Processing/Memory
-
底部绿色部分：读出电路（Readout）
-
将感光值转换为数字值并读取
每一个有效像素都是下图中的结构：
-
左侧是反向偏置的感光二极管(电压在上面，地面在下面)
-
右边是一个CMOS电容
I_ph光电流是由光子刺激产生的光电流引起的CMOS电容器上累积成电荷，形成充电的动作，这就将电流变成了电压输出出去。
光子和量子效率
-
光子 – Photon
-
量子效率 – QE（Quantum Efficiency）：在一个Camera Sensor里面，经过Color Filter投射光子转化为电荷效率。
自然界中有不同波段和频率的光，我们简单地分为RGB由于频率的不同，每个光子所载的能量因频率的不同而不同。
下图以蓝光为例，其能量为4.41E-19焦耳能量
-
光子的能量计算方法是E=hc/λ（h 是普朗克常数，c 是真空中的光速，λ波长)，上图Total_Power是一束光的能量。
-
如果上图中透射三个光子，就会产生电子空穴e，那么QE就是1/3
与量子效率QE有关的概念
-
QE在一定频率/波长的光子转频率/波长的光子转换为电子的效率。如下图所示RGB三种颜色通道波长不同QE的变化情况
-
IR Cutter
-
对于Camera Sensor除了可见光，它还能感受到近红外波段的光，这不符合人眼的视觉感受，所以我们需要有一个IR Cutter去除近红外光，否则红色通道的感光会过强，最终使图像偏红。
-
Crosstalk
–
-
理想情况下，RGB三色通道QE响应就像上图一样，它们可以完全分开，通过Color Filter后，每一个Pixel只感应对应颜色的光。但现实中，不能完全分开，比如B通道Pixel除了感受到Blue除了光，我还感受到了G和R的光。
-
一个像素不能只感受一个颜色通道的光Crosstalk，Crosstalk越小越好，理想情况下是0
-
CCM（Color Correction Matrix）图像处理模块的目的是将像素上分离像素之间感受到的光
-
Crosstalk也会带来噪音
-
Sensitivity 感光度 = QE * Pixel_Size
-
感光度是指像素对光的敏感性，即同一光子能激发多少电荷和QE成正比
-
QE激发的电荷越高，pixel_size刺激的电荷越大，刺激的电荷就越多
Camera Sensor感光过程
Camera Sensor感光过程分为充电、感光、放电三个步骤，完成光子向电压的转换。
充电
第一步是给光电二极管充电，给二极管加反向电压，相当于给二极管充电
感光
第二步是感光。当光子进来时，光电二极管会产生光电效应。外部电子刺激额外的电子空穴
放电
第三步是放电。额外的电子空穴是二极管和电容器的放电过程。
Camera Sensor读感光结果
Camera Sensor感光实现了E到V的过程，然后经过模拟放大器，再经过AD(模数)转换器信号，如下图所示：
从时间轴上看，首先是Reset充满电，然后曝光（感光）一段时间，然后通过读取电路读取模拟信号。总操作时间Total_time = reset_time exposure_time readout_time，如下图所示：
Camera Sensor动态范围
1. Full well Capacity
-
上图中PCB中间部分用于感光部分，是势井。随着光线的进入，电荷（e）会不断加，累加到一定程度就会溢出，溢出到别的Well里面去。
-
到什么程度这个井能满是衡量这个感光器件感光能力的一个指标，当然这个井越深越好，这样就能感受更多的光，但这个与成本、工艺都有关系
2. Dark Current
-
势井中黑色的电荷（e）表示完全没有光，势井里也有一部分电荷，半导体缺陷导致的，无法避免，我们叫Dark Current，是形成Black Level的一个原因
3. Fill Factor
-
中间井的面积（感光的部分） / PCB的面积
-
Fill Factor越大越好，工艺越好的厂家感光的部分占的面积就越大，感光的部分越大，这个井就越深，能够装的电荷数就越多
动态范围Dynamic Range = Saturation / Black Level，Saturation是由Full Well Capacity决定，Black Level是由Dark Current决定。
Camera Sensor时序
Sensor控制电路里面的基本时序
-
先有一个Reset信号对二极管充电，当二极管充满电后，Reset信号就结束，然后开始感光二极管开始放电，接着又来一个Reset信号进行充电，然后继续感光放电，然后又Reset充电，再感光放电…，每次放电结束后就有相应的读出电路将信号读出来。
Camera Sensor Noise
Camera sensor中的Noise分为时域噪声和空域噪声，时域噪声是随时间变化的，空域噪声是指在空间上固定分布的一种噪声。
时域噪声
-
KTC Noise（readout）
-
PhotonShot Noise
-
DarkCurrent Noise
-
Power Noise
空域噪声
-
Defect Pixel
-
Row / Column Noise
-
PRNU
-
DSNU
深圳上班，
生活简简单单，
14年开始从事Android Camera相关软件开发工作，
做过车载、手机、执法记录仪......
公众号记录生活和工作的点滴，
点击关注“小驰笔记”，期待和你相遇~
觉得不错，点个在看呗~