新机器视觉的来源
高光谱成像技术通过适当的组件选择，可以在可见光范围之外提供有效的图像捕获。 高光谱成像（HSI）从工业分类到医学研究，如科学家利用该技术生成皮肤和皮下组织的数据库，该技术最初用于地球观测，已扩展到各个领域。 随着图像传感器和相机的改进，研究人员和开发人员正在发现越来越多的高光谱成像应用，包括食品质量控制、制药过程控制、塑料分类和生物测量。 图1:回收站(上)每年接收300万吨塑料。高光谱相机可以区分四种不同类型的塑料(底部)。 应用范例 食品质量控制 过去，食品质量控制需要破坏性的测量。质量保证人员选择每批采样，检查外观，并根据分析结果使用破坏性测量技术确定等级。现在，SWIR高光谱成像可以帮助识别和量化食品的化学成分，并基于所分析的每个分子的不同波长或光谱指纹，提供诸如营养，脂肪百分比，糖含量和新鲜度等信息。例如，无人驾驶飞机上SWIR高光谱相机有助于测量生长在树上的苹果中的糖含量，并在收获季节前预测其等级和质量。 塑料分选 2017年，美国塑料回收率为8.但回收厂每年收到300万吨塑料。随着回收意识的提高，预计会有更多的人回收废物，这意味着回收工厂需要更多的塑料。然而，不同的塑料材料需要不同的回收工艺。如果使用不当，可能会过滤出有毒化学物质或损坏仪器。在高光谱成像的帮助下，回收站可以很容易地使用1.7至2.6 m光谱信息区分塑料材料，并在传送带上标记从相机收集的空间信息。 图2：高光谱摄像机类型及其各自的采集和数据存储方法包括：（a）扫帚相机；（b）扫帚相机；（c）高光谱相机基于光谱扫描；（d）快照相机。 高光谱成像类型 高光谱相机可以通过四种方式捕获信息：点扫描（点扫描）相机、线扫描（线扫描）相机、基于光谱扫描（区域扫描或平面扫描）和快照（单次拍摄）相机。 点击扫描相机一次捕获像素。图像建立在相机光栅扫描样品中，并包含所有光谱信息。虽然在图像采集过程中非常耗时，但这种方法导致了非常高的光谱分辨率。 高光谱成像系统对农产品进行分级 线扫相机比点扫相机快，提供高光谱分辨率。线扫相机可以一次捕获一条线。相机会扫描样品上的线，生成完整的图像。线扫相机虽然扫得比点快，但在结果图像中可能会产生锯齿和运动伪影。 光谱扫描相机一次收集给定波长的整个空间信息。高光谱立方一次生成图像/波长。虽然每个图像都很快，但由于改变波长所需的时间，光谱扫描慢慢产生立方体。 高光谱快照相机能捕捉到高光谱视频，是快速成像运动物体的理想选择。但这些相机通常只能提供有限的光谱和空间分辨率。 图3：Hamamatsu Photonics提供了G14741-0808W InGaAs面积图像传感器(顶部)提供光敏度和光谱响应曲线，如图所示(底部)。 图像传感器要求 光学传感器独立于高光谱平台，在数据采集中起着最重要的作用。本节介绍了本文HSI所需的传感器规格。 光谱响应范围 与传统的RGB成像相比，HSI其主要优点是能够在更宽的光谱响应范围内以更高的分辨率捕获更多的细节。借助CCD和CMOS硅技术，如图像传感器，可在可见光和近红外范围(从400 nm至1100 nm肉制品中的变色和一些异物在波长中被检测出来。然而，用反射成像法检测肉类的水分含量(嫩度)需要900到1700 nm光谱范围。在此波长范围内，CCD和CMOS传感器响应不足，标准化InGaAs技术可以以相当可观的成本实现超过70％的量子效率。 作为另一个示例，检测牛肉中的脂肪酸需要1000至2300 nm光谱范围。借助扩展的InGaAs该传感器可检测900 nm至2.5 m适用于1的波长.7 m上述高光谱成像。作为可以提供扩展波长的InGaAs滨松光电公司发布了一系列图像传感器供应商之一QVGA InGaAs区域图像传感器的截止波长为1.7 m， 1.9 m，2.2 m和2.5 m。 动态范围 光学传感器的动态范围对于在宽光谱范围内获取信息非常重要，尤其是在部署扫描技术获取图像时。扫描摄像头可以同时捕获整个图像线和光谱信息，并将所有波长的曝光时间设置为值。因此，传感器需要有足够的动态范围来获得非常低的信号和整个光谱中的峰值信号。动态范围取决于读出噪声和传感器的饱和度。读取的噪声通常确定传感器能检测到的最小信号电平。例如，要达到1.2V饱和输出电平下的1500动态范围需要800 V rms读出噪音，这是对的CMOS ROIC设计不容易。长时间曝光 暗电流散粒噪声需要考虑，特别是在使用中InGaAs时。例如，如果标准在相同的像素格式下InGaAs传感器（1.7 m截止波长)暗电流指定为0.03 pA，则扩展的InGaAs传感器（2.5 m截止波长)暗电流可指定为30 pA。 新型宽带LED高光谱成像应用增强 灵敏度 传统将曝光时间设置为030秒的传统光谱相比，HSI曝光时间必须足够短（有时是毫秒，甚至是微秒，范围），以避免任何波长下的饱和，如果传感器在任何波长下没有足够的灵敏度，一些光谱带的光谱就会降低，光谱测量的准确性就会降低。传感器的灵敏度包括光电二极管阵列的光电灵敏度和片上读出电路的电荷电压转换增益。然而，随着灵敏度的增加，读出噪声水平通常会增加。扫描使用区域HSI该技术可以为每个波长设定适当的曝光时间或片上增益。例如，可以为低信号范围设置较长的曝光时间或较高的转换增益，可以为强信号范围设置较短的曝光时间或较低的转换增益，以便在整个波长范围内获得平滑的输出光谱。 作为最流行的高光谱成像方法，pushbroom该方法按带状交错（BIL）高光谱数据立方体的格式存储——在一个方向上连续扫描的方案。因此，线扫相机特别适用于食品质量和安全检查、回收厂分类、药品标签和包装等工业过程中常用的传送带系统。快速采集对于快速移动物体的应用至关重要。传感器设计的系统结构不仅曝光时间短，还能提高读出速度。例如，片上采样保持电路启用边读边积分（IWR）因此，传感器可以在第二行曝光时读取第二行曝光，同时读取整条线(来自前一次曝光的数据)。 区域扫描方法可以在一系列波长中记录空间和光谱信息，因此对快速成像应用非常有吸引力，但区域扫描相机不适合需要移动样本测量的应用。滨松光电制造的区域图像传感器具有列平行结构和部分读取（ROI）该功能不仅可以缩短读取时间，还可以节省数据存储和数据处理。 相机要求 摄影机 有两种类型的高光谱成像相机：线扫描相机和面扫描相机。 线性扫描摄像机集成了线性一维传感器，具有帧率高、速度超过4万行/秒的优点，非常适合组装线的在线检查。人工智能（AI）它是检查系统的重要组成部分，用于缺陷识别或模式识别，因为高采集速度可以基于AI分类和缺陷识别任务。 区域扫描相机集成2D传感器通过生成快照图像来提供高空间信息。典型的区域扫描InGaAs摄像机采用QVGA或VGA格式。摄像机可以快速捕获许多图像，提供大视野，并适合农业中的广域成像应用。 还可用于食品检验、安全性、塑料分拣和药物发现。大多数相机的传感器都有散热装置，可以降低噪音和暗电流，从而提高整体图像质量。板载内存或用户可访问的FPGA使相机对定制非常有吸引力。 接口 接口选择是选择相机的一个重要考虑因素，因为它定义了相机的速度、连接和与其他仪器的集成。有许多接口是为不同的目的设计的。USB和GigE最常见的例子包括RS-422 / LVDS，Camera Link，RS-232和CoaXPress接口。 软件支持 将正确的软件与高光谱硬件配对代表系统开发的关键一步。由于相机必须在选定的软件环境中运行，因此必须考虑硬件驱动程序的支持。 软件开发工具包支持是用户希望对接口进行自编程的主要考虑因素。编写自定义界面，使用户能够完全控制最终用户的体验。Python和C 它是一种常见的编程语言Linux操作系统为控制设备和数据流提供了极大的灵活性。作为开发必须确认相机支持这些编程工具，或者重新设计昂贵的系统。本文仅进行学术分享。如有侵权行为，请联系删除。 3D视觉车间精品课程官网:3dcver.com 1.自动驾驶领域的多传感器数据集成技术 2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码) 3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进 4.中国第一门面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释 6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化 8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)9.从零搭建一套结构光3D重建系统[理论 源码 实践] 10.单目深度估计方法:算法梳理和代码实现11.自动驾驶中的深度学习模型部署12.相机模型和校准(单目) 双目 鱼眼)13.重磅！四旋翼飞机：算法与实战14.ROS2从入门到精通:理论与实战15.中国第一个3D缺陷检测教程：理论、源代码和实战！3DCVer-提交学术论文写作成立了交流群 扫码添加小助手微信，可申请添加3D视觉研讨会-学术论文写作和提交微信交流群旨在交流顶会、顶刊、SCI、EI等待写作和提交。 同时也可以申请加入我们的细分交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器集成CV入门、三维测量、VR/AR、3D人脸识别、医学影像、缺陷检测、行人重识别、目标跟踪、视觉产品着陆、视觉竞赛、车牌识别、硬件选择、学术交流、求职交流ORB-SLAM微信群，如系列源码交流、深度估计等。 注：研究方向： 学校/公司 昵称，如：3D视觉 上海交大 静静“。 注：研究方向： 学校/公司 昵称，如：3D视觉 上海交大 安静。请按格式备注，可快速通过并邀请进入群。请联系原稿。 ▲长按加微信群或投稿 ▲长按关注微信官方账号 3D视觉从入门到精通知识星球:3D视觉领域的视频课程(3D重建系列、3D点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等。)总结知识点，进入高级学习路线，最新paper深耕分享、答疑五个方面，还有各大厂的算法工程师进行技术指导。与此同时，星球将与知名企业合作发布3D视觉相关算法开发岗位和项目对接信息，打造集技术与就业于一体的铁杆粉丝聚集区，近4000星球成员打造更好的AI世界共同进步，知识星球入口: 学习3D视觉核心技术，扫描查看介绍，3天内无条件退款圈子里有高质量的教程资料，回答问题，帮助你有效地解决问题，感觉很有用。请表扬和观看~