camera基础知识点笔记

1. 感光原理

Camera Sensor是数百万数千万小方块CCD或CMOS感光元件(简称像素)以平面阵列的形式排列，其感光原理是在感光元件表面整合RGB（红、绿、蓝）三原色的滤镜，通过对一个一个的感光点对光进行采样和量化形成图像。Sensor每个感光点只对应一个彩色滤光片，所以只能感光RGB一种颜色。一般来说，30万像素或130万像素30万或130万感光点。如果一台拥有一千二百万像素的数码相机，明显地就是最少12,000,000小方块的感光元件了。

Sensor彩色滤镜阵列元件基本采用Bayer图样（RGRG/GBGB排列方式如上图所示)实现RGB以三原色滤镜为顺序Striped Array(条形阵列)形式，红、蓝、绿交替，各施其职，分别去 “捕捉” 光能三原色。从光学的角度来看，应该说是光通过镜头的不同镜头组，投射到集成Bayer条形阵列图案RGB过滤器的图像传感器，图像传感器记录电荷进入光，转换为数字参数，成为RAW即文件的图像信息RAW DATA。

绿色滤镜元件是红色和蓝色的两倍。只是因为人眼的颜色识别不是线性的，我们的眼睛显然对绿色更敏感。因此，眼睛保护常识鼓励人们多看绿色。RGB的3原色滤镜数量比例是1: 2: 1。

Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是Bayer pattern。Sensor输出的RAW格式图像的大小取决于其自身的特性和配置，例如，某模型Sensor配置为10-bit RGB RAW图像尺寸为1024768，单帧图像大小为1024768*10bit=7680kb。

当然也有些Sensor可直接输出内置格式转换单元YUV数据或者RGB数据。

2. 输出接口-DVP

DVP（Digital Video Port） 是传统的sensor输出接口，并行输出，数据位宽8bit、10bit、12bit、16bit等，是CMOS电平信号(重点是非差分信号)。

几个信号：

PCLK：pixel clock ,像素时钟，每个时钟对应一个像素数据； HSYNC：horizonal synchronization，行同步信号； VSYNC：vertical synchronization，帧同步信号； DATA：具体位宽取决于像素数据、视频数据ISP是否支持； MCLK：或者XCLK，ISP输出驱动sensor的时钟； SCL，SDA：I2C用来读写sensor配置寄存器sensor。

PCLK、HSYNC、VSYNC对应关系 ISP与Sensor通过DVP接口连接，ISP首先会给Snsor一个MCLK，sensor内部的PLL会计算，产生PCLK，PCLK由幅面（F_W、F_H）、帧率（FPS）决以下关系：

PCLK = F_W * F_H * FPS

以F_W = 3556，F_H = 1125，A_W = 1920， A_H = 1080，FPS = 25（1080P以25为例，说明几种对应关系：

• PCLK是像素传输的时间，所以HSYNC时间是PCLK的3556倍；

• 在这3556个像素中，只有1920个像素是有效的（A_W大小)，在剩下的1636个像素点时间内sensor不传输数据；

• VSYNC因此，帧同步信号VSYNC时间是PCLK的3556*1125倍；

• 同样只有在1920*在1080个有效像素的时间内，sensor在传输数据；

3. 输出接口-MIPI

MIPI=Mobile Industry Processor Interface, 是类似SMIA的一个LVDS其规范正在不断修改和改进。目前，相对成熟的接口应用是DSI(显示接口)和CSI(摄像头接口)。

CSI/DSI的物理层（Phy Layer）由专门的WorkGroup负责制定，目前的标准是D-PHY。

D-PHY数据传输采用1对源同步差分时钟和1~4对差分数据线。数据传输采用DDR方法是在时钟的上下边缘传输数据。

相比于DVP，主要优点有：

（1）Camera模块布线大大减少。如果是并口数据接口，YUV至少输出8个数据Bit、2个Clock(MCLK和PCLK)、I2C两个，两个同步信号，加地和电源等。MIPI的串口，

可减少2个同步信号和8个数据Bit变为DOUT_P、DOUT_N、CLK_P、CLK_N，PCLK也可以不要，布线自然方便多了。

（2）Noise减少。线路越多，干扰的可能性就越大，线路越少，干扰就越少。MIPI信号是DOUT_N和DOUT_P成对走线，需要考虑impedance，两条线从波形

相反，如果有外部干扰，很大一部分会被抵消。MIPI的信号属于LVDS(Low Voltage Differential Signaling：低压差分信号传输到底MV等级本身对外部干扰也很小。

(3)传输速度极快，从并口到串口，当然要足够大，MIPI最大支持4通道数据传输，单线传输速度高达1Gb/s（DPHY），不管传统并口有多高，只有600MB/s。

(4)功耗低。Camera，只电，给Clock于是PCLK就有输出，Data它也将由输出组成。如果你不能抓住同步，你就不能像它一样，但数据仍然是输出，所以你需要功耗。MIPI理论上，静态没有功耗。

4. 调试注意点

需要根据Sensor的Spec例如：

The OV13850 uses three power supplies: 2.8V AVDD, 1.8V DOVDD and 1.2V DVDD. To avoid any glitch from a label external noise source, OmniVision recommends controlling XSHUTDOWN or PWDNB by GPIO and tying the other pin to DOVDD. Whether or not XSHUTDOWN is controlled by GPIO, the XSHUTDOWN rising cannot occur before AVDD or DOVDD.

1. 感光原理

Camera Sensor是数百万数千万小方块CCD或CMOS感光元件(简称像素)以平面阵列的形式排列，其感光原理是在感光元件表面整合RGB(红、绿、蓝)三原色滤镜，通过逐一采样和量化光感光点形成图像。Sensor每个感光点只对应一个彩色滤光片，所以只能感光RGB一种颜色。一般来说，30万像素或130万像素30万或130万感光点。若一台数码相机具有1200万像素，显然是至少1.2万小方块的感光元件。

Sensor彩色滤镜阵列元件基本采用Bayer图样（RGRG/GBGB排列方式如上图所示)实现RGB以三原色滤镜为顺序Striped Array(条形阵列)形式，红、蓝、绿交替，各施其职，分别去 “捕捉” 光能三原色。从光学的角度来看，应该说是光通过镜头的不同镜头组，投射到集成Bayer条形阵列图案RGB过滤器的图像传感器，图像传感器记录电荷进入光，转换为数字参数，成为RAW即文件的图像信息RAW DATA。

绿色滤镜元件是红色和蓝色的两倍。只是因为人眼的颜色识别不是线性的，我们的眼睛显然对绿色更敏感。因此，眼睛保护常识鼓励人们多看绿色。RGB3原色滤镜数量比例为1: 2: 1。

Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是Bayer pattern。Sensor输出的RAW格式图像的大小取决于其自身的特性和配置，例如，某模型Sensor配置为10-bit RGB RAW图像尺寸为1024768，单帧图像大小为1024768*10bit=7680kb。

当然也有些Sensor可直接输出内置格式转换单元YUV数据或者RGB数据。

2. 输出接口-DVP

DVP（Digital Video Port） 是传统的sensor输出接口，并行输出，数据位宽8bit、10bit、12bit、16bit等，是CMOS电平信号(重点是非差分信号)。

几个信号：

PCLK：pixel clock ,像素时钟，每个时钟对应一个像素数据； HSYNC：horizonal synchronization，行同步信号； VSYNC：vertical synchronization，帧同步信号； DATA：具体位宽取决于像素数据、视频数据ISP是否支持； MCLK：或者XCLK，ISP输出驱动sensor的时钟； SCL，SDA：I2C用来读写sensor的寄存器，配置sensor。

PCLK、HSYNC、VSYNC对应关系 ISP与Sensor通过DVP接口连接，ISP首先会给Snsor一个MCLK，sensor内部的PLL会计算，产生PCLK，PCLK由幅面（F_W、F_H）、帧率（FPS）决以下关系：

PCLK = F_W * F_H * FPS

以F_W = 3556，F_H = 1125，A_W = 1920， A_H = 1080，FPS = 25（108025）为例，说明几个对应关系：

• PCLK是一个像素传输的时间，所以HSYNC时间是PCLK的3556倍；

• 在这3556个像素中，只有1920个像素是有效的（A_W大小），在剩下的1636个像素点时间内sensor是不传输数据的；

• VSYNC是帧同步信号，所以VSYNC时间是PCLK的3556*1125倍；

• 同样只有在1920*1080个有效像素时间内，sensor在传输数据；

3. 输出接口-MIPI

MIPI=Mobile Industry Processor Interface, 是类似SMIA的一个LVDS的一种接口，其规范在不断修改和改进，目前比较成熟的接口应用有DSI(显示接口)和CSI（摄像头接口）。

CSI/DSI的物理层（Phy Layer）由专门的WorkGroup负责制定，其目前的标准是D-PHY。

D-PHY采用1对源同步的差分时钟和1～4对差分数据线来进行数据传输。数据传输采用DDR方式，即在时钟的上下边沿都有数据传输。

相比于DVP，主要优点有：

（1）Camera模块布线大大减少。并口的数据接口，如果是YUV输出至少为8个数据Bit、2个Clock(MCLK和PCLK)、I2C两个、同步信号2个，再加地和电源等，如果换成MIPI的串口，

可以减少2个同步信号，8个数据Bit变为DOUT_P、DOUT_N、CLK_P、CLK_N，PCLK也可以不要，布线自然方便许多。

（2）Noise的减少。走线越多被干扰的可能就越多，走线少了于是干扰就少了，同时MIPI信号是DOUT_N和DOUT_P成对走线，需要考虑impedance，两根线从波形

看是成反相，所以有外部干扰过来，就会被抵消很大部分，同时MIPI的信号属于LVDS(Low Voltage Differential Signaling：低压差分信号传输)底到MV的等级，本身对于外部的干扰也是很小的。

（3）传输速度极快，从并口到串口，当然要足够大的速度，MIPI最大支持4通道数据传输、单线传输速度高达1Gb/s（DPHY），而传统的并口再高也不过600MB/s。

（4）功耗低。并口的Camera，只要上电，给Clock于是PCLK就有输出，Data也会由输出，抓不到同步就成不了像，但是数据还是输出，于是就要功耗。而MIPI理论上静态是没有功耗的。

4. 调试注意点

需要根据Sensor的Spec安排上电时序，例如：

The OV13850 uses three power supplies: 2.8V AVDD, 1.8V DOVDD and 1.2V DVDD. To avoid any glitch from a label external noise source, OmniVision recommends controlling XSHUTDOWN or PWDNB by GPIO and tying the other pin to DOVDD. Whether or not XSHUTDOWN is controlled by GPIO, the XSHUTDOWN rising cannot occur before AVDD or DOVDD.

MIPI CSI-2 协议解析 http://dljz.nicethemes.cn/news/show-194210.html 在前面介绍D-PHY的文章中有提到过，当系统进入LP模式时，Clock Lane上的差分时钟可以设置为关闭，或者继续运行。对于那些在LP模式下（换一种说法就是，在两次HS模式之间），差分时钟信号仍然有效的系统，称之为持续时钟行为（Continuous Clock Behavior）；而对于那些在LP模式下，将差分时钟信号切断的系统，则称之为非持续时钟行为（Non-Continuous Clock Behavior）