本文记录了机器视觉硬件学习的第二部分：工业相机
本文的主要内容是相机类型、接口类型和主要参数。
01 相机的分类
相机是机器视觉系统的核心部件，广泛应用于各个领域，特别是生产监控、测量任务和质量控制。工业数字相机通常比传统的标准数字相机更耐用。这是因为它们必须能够应对高温、高湿度、粉尘等各种复杂多变的外部影响。工业相机的分类形式有很多，下图是一些常见的分类方法。以下将详细介绍几种常见类型的工业相机。
02 面阵相机和线阵相机
当我第一次接触到机器视觉时，我理所当然地认为面阵相机是将相机组合排列成面阵，线阵相机组合排列成一排，开玩笑。
面阵相机和线阵相机的区别在于，前者以面为单位采集图像，可以直接获得完整的二维图像信息。后者以线为单位。虽然也是二维图形，但长度长，宽度只有几个像素。这是因为线阵相机的传感器只有一行感光元素。虽然面阵相机的像素总数较多，但分布在每行的像素单元低于线阵相机，因此面阵相机的分辨率和扫描频率一般低于线阵相机。
由于线阵相机的感光元素呈线状，收集到的图像信息也是线性的。为了收集完整的图像信息，通常需要配合扫描。如采集匀速直线运动金属、纤维等材料的图像。线阵图像传感器CCD主要是市场上有一些线阵CMOS然而，线阵传感器CCD仍是主流。目前，陷阵CCD扫描运动获取图像的方案应用广泛，特别是在视野范围大、图像分辨率高的情况下。可用于面积、形状、位置测量或表面质量检测，直接获取二维图形可在一定程度上降低图像处理算法的复杂性。在实际工程应用中，需要根据工程需要进行选择。
03 黑白相机和彩色相机
黑白相机和彩色相机很容易理解。输出图像为黑白相机，彩色相机为彩色相机。有人说这不是胡说八道。这真是胡说八道，但原则上更有趣。
让我们从简单的黑白相机开始。当光照射到感光芯片时，光子信号将转换为电子信号。由于光子数量与电子数量成比例，电子数量可以形成反映光强度的黑白图像。通过相机内部的微处理器处理，输出是一个数字图像。在黑白相机中，光的颜色信息没有保留。
实际上CCD无法区分颜色，只能感受到信号的强度。在这种情况下，为了收集彩色图像，理论上可以用分光棱镜将光分为光学三原色（RGB），然后用三个CCD分别感知强弱，最好综合起来。这个方案理论上是可行的，但有三个CCD加分光棱镜使成本急剧增加。最好的方法是只使用一个CCD还可输出各种颜色分量。
伊士曼·科学家柯达Bryce Bayer拜耳列阵的发明使得只使用一个CCD还可输出各种颜色分量。Bayer彩色相机的原理如下图所示，一行使用蓝绿元素，下行使用红绿元素，如此交替。每个像素只包括光谱的一部分（R or G or B），每个像素必须通过色彩空间插值恢复RGB值(文献1)。
插值算法有很多，这里介绍：临近插值算法。我们采用3X滑窗在上图中滑动取样，可取出下图中的四种分布。
在（a）与（b）中，R与B分别取邻域平均值；在（c）与（d）在中间，取领域的4B或R中间像素的平均值。
但人眼对绿光的反应比较敏感，对紫光和红光的反应比较弱。为了更好地恢复画质，根据相邻值进行自适应插值。
在情况（a）中间值R由以下公式决定，即G值插入R。
图中，如果R1和R三差小于R2和R4之间的差异表明垂直方向相关性强们使用垂直相邻值G1和G3的平均值。水平方向也同理。
在情况（b）中间值B由以下公式决定，即G值将插入B。
从彩色相机的成像原理可以看出，颜色值主要以插值的形式表示。即使是最成熟的颜色插值算法也会在图片中产生低通效应。文献2比较了彩色相机和黑白相机在黑白相机的成像质量，如下图所示。显然，伪色会出现在彩色图像的细节上，导致精度下降。 在工业应用中，如果我们想处理与图像颜色相关的问题，我们需要使用彩色相机；如果没有，最好选择黑白相机，因为在相同的分辨率下，黑白相机的精度高于彩色相机。
04 CCD和CMOS
图像传感器是工业相机的核心部件，主要包括CCD和CMOS两种。
CMOS(Complementary Metal Oxide Semiconductor)是补充金属氧化物半导体，CMOS 图像传感器阵列中的每个像元由感光二极管、放大器和读出电路三部分组成。然而，由于每个单元的独立输出，每个放大器的输出结果也不同，所以 CMOS 阵列获得的图像噪音大，图像质量相对降低，但仍能满足一般精度要求。在集成电路领域，CMOS工艺是最基本的工艺，工艺相对不复杂，所以成本不高，光电灵敏度高。在集成电路领域，CMOS所采用的工艺是最基本的工艺，工艺相对不复杂，因此成本不高，光电灵敏度高。其一些性能参数也在不断优化，应用越来越广泛说，CMOS 的性价比还是较高的。
CCD （Charge-coupled Device）全名为电荷耦合器件。CCD能将光学图像转化为数字信号的半导体器件，CCD植入的微光敏物质称为像素(Pixel)，一块CCD上面包含的像素越多，图像分辨率就越高。CCD在相机设计中提供良好的图像质量、抗噪性和灵活性。虽然外部电路的增加增加了系统的尺寸和复杂性，但电路设计可以更加灵活，可以尽可能改进CCD有些相机特别注重性能。CCD更适用于天文学、高清医学x光图像等需要长时间曝光、对图像噪声要求严格的科学应用，对相机性能要求高、成本控制不严格的应用领域。
目前，CCD性能仍然优于CMOS。不过，随着CMOS随着图像传感器技术的不断进步，在集成、功耗低、成本低的基础上，大大提高了噪声和敏感性CCD传感器差距缩小。
05 相机的主要接口类型
IEEE 1394:
- 广泛应用于工业领域。协议和编码方法都很好，传输速度稳定。
- 400在工业中很常用Mb的1394A和800Mb的1394B接口。超过800Mb也有以上，如3.2Gb是的，但是比较少见。
- 接口普及率低，早期由苹果垄断，电脑通常不包计算机上，因此需要额外的收集卡。
- 注意它PacketSize设置数据包的大小。Packet Size是1394总线的带宽。
- 占用CPU资源少，可同时使用多台，但由于界面普及率低，已逐渐被市场淘汰
GIGE千兆网接口：
- 千兆网络协议稳定，使用方便，连接到千兆网卡即可工作
- 在千兆网卡的属性中，也有1394Packet Size类似的巨帧。设置此参数可以达到更理想的效果。(我以前用过NI Max的使用因为packet size设置过大，软件无法收集图像)
- 传输距离远，可传输100米。
- 可同时使用多台，CPU占用率小。
USB接口：
- 早期的USB2.接口连接方便，几乎所有计算机都配置了USB接口，无需收集卡。
- USB2.0接口传输速率慢，传输过程需要CPU参与管理，占用和消耗大量资源。
- USB2.0接口一般没有固定螺钉，接口不稳定，有运动设备松动的风险。
- USB3.0在2.新增了两组数据线，向下兼容，解决了传输速度慢的问题，但传输距离仍然很近。
Camera Link接口：
- 需要单独的CameraLink接口不便携，成本过高。
- Camera Link实际应用中接口相机较少。
- 采用LVDS接口标准，速度快，抗干扰能力强，功耗低。li
- 传输距离近。
06 相机的主要参数
- 分辨率（Resolution）：相机每次采集图像的像素点数（Pixels）。由工业相机所采用的芯片分辨率决定，是芯片靶面排列的像元数量。分辨率影响采集图像的质量，在对同样大的视场（景物范围）成像时，分辨率越高，对细节的展示越明显。
- 像素深度（Pixel Depth）：每位像素数据的位数，常见的是8bit，10bit，12bit。分辨率和像素深度共同决定了图像的大小。例如对于像素深度为8bit的500万像素，则整张图片应该有500万*8/1024/1024=37M。
- 最大帧率（Frame Rate）/行频（Line Rate）：相机采集传输图像的速率，对于面阵相机一般为每秒采集的帧数（FPS），对于线阵相机机为每秒采集的行数（Hz）。
- 曝光方式（Exposure）和快门速度（Shutter）：线阵相机为逐行曝光的方式，可以选择固定行频和外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定的时间；面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式，工业数字相机一般都提供外触发采图的功能。快门速度一般可到10微秒，高速相机还可以更快。
- 靶面尺寸：图像传感器的感光部分的大小。常见的靶面有1/4''、1/3''、1/2''、2/3''、1''等几种，当然也有其他规格。靶面尺寸规格见下表。
以basler的acA2500-14gm - Basler ace相机为例，该相机相机配有 ON Semiconductor MT9P031 CMOS 感光芯片，帧速率为每秒 14 帧图像（14fps），分辨率为500 万像素，靶面尺寸为1/22.5''。
在选型时，按照以下步骤进行：
- 根据需求和成本选择图像传感器型号：CCD还是CMOS；
- 根据目标的要求精度，选择合适的分辨率。对于视野大小为10*10mm的场合，要求精度为0.02mm/pixel，则当方向上分辨率=10/0.02=500。
- 若被测物体为运动物体，需要选择帧数较高的工业相机。
参考文献：
【1】Bayer color conversion and processing
【2】Jeon H G, Lee J Y, Im S, et al. Stereo matching with color and monochrome cameras in low-light conditions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 4086-4094.
【3】胡仁伟. 光滑零件表面缺陷检测系统设计与实现[D]. 电子科技大学, 2018.