点击上方“”，选择加""或“”
重磅干货，第一时间送达 本文转自|新机器视觉 然而，大多数现代传感器都被使用CMOS单元，这主要是出于制造考虑。传感器和光学器件通常集成在一起制造晶片级相机，类似于生物学或显微镜，如图1所示。
图1：集成光学器件和颜色过滤器的图像传感器
图像传感器是为满足不同应用的特殊目标而设计的，它提供了不同级别的灵敏度和质量。
硅图像传感器应用最广泛，当然也会使用其他材料，如工业和军事应用中的镓(Ga)覆盖比硅长的红外波长。
不同的摄像头会有不同的图像传感器分辨率。从单像素光电晶体管摄像头(通过一维直线扫描阵列用于工业应用)到普通摄像头上的二维矩形阵列(球形整列的所有路径都用于高分辨率成像)。
采用普通成像传感器CCD、CMOS、BSI和Foveon制造方法。硅图像传感器具有非线性光谱响应曲线，可以很好地感知光谱的近红外部分，但不能很好地感知蓝色、紫色和近紫外部分（如图2所示）。
图2：几种硅光电二极管的典型光谱响应
可以注意到，光电二极管在900纳米附近的近红外范围内 它具有很高的敏感性，在400纳米~700纳米的可见光范围内具有非线性敏感性。由于标准硅响应，从相机中删除IR滤波器会增加近红外线的灵敏度。(已获得光谱数据图像的使用OSI光电有限公司许可)
请注意，当读取原始数据并将数据分散成数字像素时，硅光谱响应。传感器制造商在该区域进行了设计补偿。然而，当根据应用程序校准摄像头系统并设计传感器处理方法时，应考虑传感器的颜色响应。
图像传感器的关键在于光电二极管的大小或元件的大小。使用小光电二极管的传感器元件捕获的光子数量不如大光电二极管多。
如果元件尺寸小于可捕获的可见光波长（如400纳米蓝光），则必须克服传感器设计中的其他问题，以纠正图像颜色。传感器制造商花费大量精力设计和优化元件尺寸，以确保所有颜色都能相同成像（如图3所示）。
图3：基本颜色的波长分布
注意，基本颜色区域相互重叠， 绿色是所有颜色的好单色替代品
图4显示了多光谱传感器设计的不同片内配置，包括马赛克和堆叠方法。在马赛克方法中，颜色过滤器安装在元件上。Faveon传感器堆叠方法依靠颜色波长深度渗透到半导体材料中的物理成分，每种颜色都不同程度地渗透到硅材料中，从而成像各自的颜色。所有颜色都可以适用于整个所有颜色，因此不需要分别为每种颜色配置元件。
图4:(左图)堆叠RGB元件的Foveon方法，(右图)标准马赛克元件
反向照明(back-side illuminated，BSI)传感器结构有更大的元件区域，每个元件都需要聚集更多的光子，因此传感器接线重新布置在晶粒上。
图5:组件颜色的几种不同马赛克配置，包括白色和基础RGB颜色和次要CYM元件
传感器元件的布置也会影响颜色响应。例如，图5显示了基本颜色(R、G、B)白色传感器和白色传感器的不同排列，包括白色传感器(W)颜色滤波器非常清晰或非彩色。
传感器的排列考虑了一定范围的像素处理。例如，在传感器处理一个像素信息的过程中，将相邻元件的不同配置中选择的像素结合起来，优化颜色响应或空间颜色分辨率。
目前，最先进的传感器每个颜色单元至少可以提供8个特征，通常是12~14个特征。传感器元件需要空间和时间来聚集光子，因此必须仔细设计较小的元件，以避免一些问题。
噪声可能来自于所用的光学元件、颜色滤波器、传感器元件、增益和A/D转换器、后处理过程或压缩方法等。传感器的读出噪声也会影响实际分辨率，因为每个像素单元从传感器中读出并传输到A/D在转换器中，形成数字形式的行和列，用于像素转换。传感器越好，噪音越低，比特分辨率越高。
通常每个成像系统都有一个专用的传感器处理器，包括一个快速的HW传感器接口，优化的超长指令集(very long instruction word,VLIW)、多数据流单指令(single instruction multiple data, SIMD)具有固定功能的指令和硬件模块，这些功能是解决大规模并行像素处理引起的工作负荷。
通常，传感器处理过程透明且自动化，并由成像系统的生产厂商设置，来自传感器的所有图像均以同样的方式处理。也存在用于提供原始数据的其他方式，这些数据允许针对应用来定制传感器处理过程，就像数字摄影那样。
马赛克的主要挑战之一是像素插值，它将相邻单元的颜色通道组合成单个像素。在给定传感器元件排列的几何形状和单元排列的垂直和水平比下，这是一个重要的问题。一个相关的问题是颜色单元的加权，例如，在每个单元中RGB每种颜色在像素中应占多多少？
在马赛克传感器中，空间元件的分辨率大于最终组合RGB对于像素分辨率，一些应用程序需要原始传感器数据，以便尽可能多地使用所有的精度和分辨率，或者一些处理要么需要提高有效的像素分辨率，要么需要更好地实现空间的精确颜色处理和去马赛克处理。
像LCD与显示器一样，传感器也可能有坏像素。供应商可以在工厂校正传感器，并为已知的缺陷提供传感器缺陷图。
在某些情况下，将在传感器上使用自适应的缺陷校正方法来监控相邻的像素点来发现缺陷，然后纠正一定范围内的缺陷类型，如单像素缺陷、列或行缺陷和类似的2×2或3×3.块状缺陷。为了实时发现缺陷，相机驱动还可以提供自适应的缺陷分析，并可以在相机启动菜单中提供特殊的补偿控制。
有必要进行颜色校正，以平衡总的颜色精度和白色平衡。如图1-2所示，硅传感器通常对红色和绿色非常敏感，但对蓝色不敏感。因此，理解和校准传感器是获得最准确颜色的基本工作。
大多数图像传感器处理器包含几何处理器，用于光晕校正，在图像的边缘表现为更暗的光。校正基于几何扭曲函数，可以考虑可编程的光功能来增加边缘的光，这需要在出厂前校准，以匹配光晕模式。
镜头可能有几何差异或扭曲到边缘，产生径向失真图像。为了解决镜头畸变，大多数成像系统都有一个特殊的传感器处理器，它有一个类似于硬件加速的数字扭曲元件GPU纹理采样器。在工厂校准和编程光学器件的几何校正。
在「」微信官方账号后台回复:下载全网第一份OpenCV中文版扩展模块教程，涵盖等20多章。
在「」微信官方账号后台回复:可下载包括等1个视觉实战项目，助力快速学校计算机视觉。
在「」公众号后台回复：即可下载含有个基于实现20个，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。在群内发送广告，否则会请出群，谢谢理解~