一、摄像头结构及基本工作原理
拍摄场景通过镜头将生成的光学图像投射到传感器上，然后将光学图像转换为电信号，电信号通过模数转换为数字信号，数字信号通过DSP处理，然后送到电脑处理，最后转换成手机屏幕上可以看到的图像。
芯片的数字信号处理DSP(DIGITAL SIGNAL PROCESSING)功能：主要通过一系列复杂的数学算法运算优化数字图像信号参数，通过处理信号优化处理信号USB等接口传到PC等设备。DSP结构框架:
1. ISP(image signal processor)(镜像信号处理器)
2. JPEG encoder(JPEG图像解码器)
3. USB device controller(USB设备控制器) 或其它接口
常见的摄像头传感器类型主要有两种，
（Chagre Couled Device），即电荷耦合器。
（Complementary Metal-Oxide Semiconductor）即互补金属氧化物半导体。
CCD其优点是成像质量好，但制造工艺复杂，成本高，耗电量高。分辨率相同，CMOS价格比CCD但是图像质量比较便宜，CCD低一点。CMOS图像传感器相对CCD随着工艺技术的进步，耗电量低，CMOS图像质量水平也在不断提高，所以目前市场上的手机摄像头都在使用CMOS传感器。
景物通过 Lens 生成的光学图像投射到 sensor 表面上， 将光电转换为模拟电信号， 消噪后经过 A/D 转换成数字图像信号，然后发送到处理芯片的数字信号（ DSP） 中加工。所以，从 sensor 过来的图像是 Bayer 图像，黑电平补偿 （ black level compensation）、镜头矫正 （ lens shading correction）、坏像素矫正 （ bad pixel correction）、颜色插值 （ demosaic）、Bayer 噪声去除、 白平衡（ awb） 矫正、 色彩矫正（ color correction） 、 gamma 矫正、 色彩空间转换（ RGB 转换为 YUV） 、 在 YUV 彩色空间上的彩色噪声去除和边缘加强 加强色彩和对比度，自动曝光控制应在中间进行， 然后输出 YUV（ 或者 RGB） 格式数据， 再通过 I/O 接口传输到 CPU 中处理。
二、简要概述各模块的处理算法
1）Bayer
当图像将实际景物转换为图像数据时， 传感器通常分别接收红色， 绿、 蓝三重信息， 然后将红、 绿、 蓝色三重信息合成彩色图像。 该方案需要三个滤镜， 这个价格贵，不容易制造， 因为三个滤镜必须保证每个像素点对齐。
通过在黑白cmos 在图像传感器的基础上， 可以通过添加彩色滤波结构和彩色信息处理模块来获取图像的彩色信息， 处理彩色信息， 您可以获得逼真的彩色图像。通常，覆盖彩色图像传感器表面的滤波器称为彩色滤波阵列（ Color Filter Arrays， CFA） 。
最常用的滤镜阵列是棋盘格式， 已经有很多种了， 绝大多数相机产品使用原色贝尔模板彩色滤波阵列（ Bayer Pattern CFA） ， 如图2 所示， R、 G、B 分别表示透红， 透绿色和透蓝色的滤镜阵列单元， 图3 这动地展示了这个过程。由于人的视觉对绿色最为敏感， 所以在Bayer CFA 中G 分量是R 和B 的二倍， 在每个像素点上只能获得一个颜色重量信息，然后通过插值算法根据颜色重量信息获得全颜色图像。
a.暗电流
物理器件不能理想， 由于杂质、 受热等原因的影响， 即使没有光照射象素， 象素单元也会产生电荷， 这些电荷产生暗电流。 而且， 暗电流和光产生的电荷很难进行 区分。
b.Black Level
Black Level 将图像数据定义为0 相应的信号电平。由于暗电流的影响， 传感器的实际原始数据不是我们需要的黑平衡（ 数据不为0） 。 因此，为了减少暗电流对图像信号的影响，有效的方法是从获得的图像信号中减去参考暗电流信号。一般情况下， 在传感器中， 实际像素比有效像素多， 如下图所示， 像素区头几行作为不感光区（ 实际上， 这部分区域也做到了RGB 的 color filter） ， 用于自动黑电平校正， 其平均值作为校正值， 然后减去下面区域的像素， 然后可以矫正黑电平。
下图是做的black level 矫正与没做black level 矫正的对比， 很明显， 左边没做black level矫正图片会更亮， 影响图像对比度：
由于镜头本身的物理性质， 与中心亮度相比，图像周围的亮度逐渐降低。 以及， 如下图所示， 通过镜头照射图像光pixel 上时， 角处的焦点夹角大于中心焦点夹角， 边角失光。 图像上的效果是亮度从图像中心逐渐衰减到周围， 离图像中心越远，亮度越暗。 为了补偿周围的亮度， 需要进行Lens Shading 的矫正。
Lens Shading 每个像素对应的亮度矫正值按一定算法计算， 从而补偿周围衰减的亮度。
矫正方法有二次项矫正、 四项矫正。
a.坏点
在全黑环境下输出图像中的白点， 图像中的黑点在高亮环境下输出。
b.修复坏点的方法
一般情况下，RGB 信号应与景物亮度呈线性响应， 但由于Senor 部分pixel 不良导致输出信号异常， 有白点或黑点。
通常有两种方法可以修复坏点：
一是自动检测坏点并自动修复， 另一种是在固定位置修复坏像素链表， 这种方式是OTP 的方式。
c.坏像素矫正原理
以自动检测坏点修复方法为例， 阐述了坏像素矫正算法的原理。
当光线通过 Bayer型 CFA（Color Filter Arrays） 阵列之后， 传感器上的单色光， 每个像素都为单色光， 从而理想的Bayer 图为昏暗的马赛克图。
使用 cmos sensor在图像中产生大量噪声的主要因素是获取图像、光照度和传感器问题。 当信号经过ADC 时， 还会引入其他噪音。 这些噪音会模糊整个图像， 而且失去了很多细节， 因此，传统的图像去噪处理空间去噪方法是平均滤波， 高斯滤波器等。
但是， 采样时，一般高斯滤波主要考虑像素之间的空间距离关系， 不考虑像素值之间的相似性， 因此，模糊的结果通常是整个图片的模糊。 所以， 一般采用非线性去噪算法， 例如，双边滤波器， 不仅要考虑像素在空间距离上的关系， 考虑到像素间的相似性， 因此，原始图像的一般分块可以保持， 然后保持边缘。
白平衡的基本原理是在任何环境下， 将白色物体还原为白色物体， 也就是说，在图像中找到白块， 然后调整R/G/B 的比例， 如下关系： R’= R * R_Gain G’ = G * G_Gain B’ = B * B_Gain R’ = G’= B’
AWB 算法通常包括以下步骤：
(1)色温统计： 出色温度按图像统计；
(2)计算渠道增益: 计算出R 和B 渠道增益；
(3)偏色矫正: 根据给定的增益， 校正偏色图像。
由于人眼可见光的频谱响应与半导体传感器的频谱响应不同，以及透镜的影响， 得到的RGB 颜色值会有偏差， 因此，必须校正颜色， 通常的做法是通过3x3 颜色变化矩阵进行颜色矫正。
人眼对外界光源的感光值与输入光强不呈线性关系， 而是指数关系。 在低照度下， 人眼更容易区分亮度的变化， 随照度的增加， 人眼不易区分亮度的变化。 相机感光与输入光强呈线性关系， 为方便人眼识别图像， 相机采集的图像需要进行gamma 矫正。
Gamma 矫正是输入图像灰度值的非线性操作， 输出图像灰度值与输入图像灰度值呈指数关系：
Vout =AVin
这个指数是 Gamma， 横坐标是输入灰度值， 纵坐标是输出灰度值， 蓝色曲线是gamma 值小于1 时的输入输出关系， 红色曲线是gamma 值大于1 输入输出关系。 可观察， 当gamma 值小于1 (蓝色曲线)， 图像的整体亮度值得提高， 同时，低灰度处的对比度增加， 更有利于区分低灰度值时的图像细节。
######10
YUV 它是一个基本的色彩空间， 人眼对亮度变化敏感性远比对色彩变化大很多， 因此， 对于人眼而言， 亮度分量Y 要比色度分量U、V 重要得多。 所以， 可以适当地抛弃部分U、V分量， 达到压缩数据的目的。
Laplacian 算子
YCbCr 其实是YUV 经过缩放和偏移的改动版，Y 表示亮度，Cr、Cb 表示色彩的色差， 分别是红色和蓝色的分量。 在YUV 家族中，YCbCr 是在计算机系统中应用最多的成员， 其应用领域很广泛，JPEG、MPEG 均采用此格式。 一般人们所讲的YUV 大多是指YCbCr。YCbCr有许多取样格式，。
如 4∶4∶4，4∶2∶2， 4∶1∶1和 4∶2∶0。
RGB 转换为YCbCr 的公式如下：
r 0.5 0.4178 0.0813 128
b 0.1678 0.33113 0.5 128
0.299 0.587 0.114
C R G B
C R G G
Y R G B
色彩空间转换这个模块， 是将RGB 转换为 YUV444， 然后在YUV 色彩空间上进行后续的彩色噪声去除、 边缘增强等， 也为后续输出转换为jpeg 图片提供方便。
为了抑制图像的彩色噪声， 一般采用低通滤波器进行处理。 例如使用M×N的高斯低通滤波器在色度通道上进行处理。
长曝光，摄影术语，是在摄影中选慢快门（曝光时间长）从而达到特殊摄影效果的一种摄影方法。该方法好处就是可以把光线暗的景色拍的更清晰，也可以拍出如梦幻般的画面，比如瀑布和城市公路夜景。
胶片的感光度是固定的，如果是数码相机可以调感光度来清晰影像，但是高感光度会增加噪点。拍摄夜景的时候经常用长曝光。通过选慢快门和小光圈来实现。
涉及到的feature，LLS + MFNR；
VCSEL就是「垂直共振腔面射型雷射（VerticalCavitySurfaceEmittingLaser）」的缩写
LTM 局部色调映射(Local Tone Mapping)
HE 直方图均衡(HE) 具有调整图像灰度，增强对比度的作用。
BPS Bayer processing segment Bayer processing : Lens shading correction, bad pixel correction, PDAF pixel correction, zzHDR merge/record, bayer NR, green imbalance correction, black level, and channel gain;
Color processing : Chromatic aberration correction, 2D LUT , chroma suppression, and skin color enhancement
CPP Camera post processor hal3之前有的概念，hal3之后用其他处理单元替换；
DE Detailed enhancement
EIS Electronic image stabilization
IFE Image front-ent engine hal3之后，重新定义的处理单元；Bayer processing for video/preview、 stats（for 3A）、Four tap-in/out points for Qualcomm Hexagon Vector eXtensions（HVX） Streaming
IPE Image processing engine hal3之后，重新定义的处理单元；1、NPS（Noise processing segment） ：NR、EIS、Multiframe processing 2、PPS（Post processing segment）：LTM、Color processing、Detailed enhancement （ASF）、scaler
MCTF Motion compensation temporal filtering
Multiframe noise reduction
NR Noise reduction
PPS Post processing segment
VFE Video front end
ZSL Zero shuter lag
instant auto focus 及时自动对焦
*本人从事Android Camera相关开发已有5年， *目前在深圳上班， *小伙伴记得点我头像，看【个人介绍】进行关注哦，希望和更多的小伙伴一起交流 ~
欢迎关注我的个人微信公众号，公众号会记录自己开发的点滴，还有日常的生活，希望和更多的小伙伴一起交流~~
-------- 2021.01.29 深圳 00:14