来源丨新机器视觉
通过适当的组件选择，高光谱成像技术可以在可见光范围之外提供有效的图像捕获。高光谱成像（HSI）该技术最初用于地球观测，已扩展到从工业分类到医学研究的各个领域，如科学家使用该技术生成皮肤和皮下组织的数据库。随着图像传感器和相机的改进，研究人员和开发人员正在发现越来越多的高光谱成像应用程序，包括食品质量控制、制药过程控制、塑料分类和生物测量。图1：回收站（上）每年接收300万吨塑料。高光谱相机可以区分四种不同类型的塑料（底部）。过去，食品质量控制需要破坏性的测量。质量保证人员选择每批样品进行采样，检查外观，并根据分析结果使用破坏性测量技术确定等级。SWIR高光谱成像有助于识别和量化食物的化学成分，并提供营养、脂肪百分比、糖含量和新鲜度等信息。例如，无人驾驶飞机SWIR高光谱相机有助于测量生长在树上的苹果中的糖含量，并在收获季节前预测其等级和质量。2017年，美国塑料回收率为8.4%，但回收厂每年收到300万吨塑料。随着回收意识的提高，预计会有更多的人回收废物，这意味着回收厂需要更多的塑料来处理。然而，不同的塑料材料需要不同的回收工艺。如果使用错误，可能会过滤出有毒化学物质或损坏仪器。在高光谱成像的帮助下，回收站可以很容易地使用1.7至2.6 m光谱信息区分塑料材料，并使用相机收集的空间信息在传送带上标记位置。图2：高光谱相机的类型及其各自的收集和数据存储方法包括：（a）扫帚摄像机；（b）扫帚相机；（c）高光谱相机基于光谱扫描；（d）快照相机。高光谱成像类型的高光谱相机可以通过四种方式捕获信息：点扫描（点扫描）相机、线扫描（线扫描）相机、基于光谱扫描（区域扫描或平面扫描）相机和快照（单次拍摄）相机。点扫描相机一次捕获一个像素。图像是根据相机光栅扫描样品建立的，并包含所有的光谱信息。虽然在图像采集过程中非常耗时，但该方法导致了非常高的光谱分辨率。高光谱成像系统对农产品的分级线扫描相机比点扫描相机快，并提供高光谱分辨率。线扫描相机可以一次捕获一条线。相机将扫描样品上的线以生成完整的图像。虽然比点扫描更快，但线扫描相机可能会在结果图像中产生锯齿形和运动阴影。光谱扫描相机一次收集给定波长的整个空间信息。高光谱立方体一次生成图像/波长。虽然每个图像都很快，但光谱扫描由于改变波长所需的时间而慢慢产生立方体。高光谱快照相机可以捕获高光谱视频，这是快速成像运动物体的理想选择。然而，这些相机通常只能提供有限的光谱和空间分辨率。Hamamatsu Photonics提供了G14741-0808W InGaAs面积图像传感器(顶部)提供光敏度和光谱响应曲线，如图所示(底部)。图像传感器需要独立于高光谱平台，光学传感器在数据采集中起着最重要的作用。在本节中，本文介绍了HSI所需的传感器规格。传统的光谱响应范围RGB成像相比，HSI其主要优点是能够在更宽的光谱响应范围内以更高的分辨率捕获更多的细节。CCD和CMOS硅技术，如图像传感器，可在可见光和近红外范围(从400 nm至1100 nm在波长中检测到肉制品中的变色和一些异物。然而，用反射成像方法检测肉的含水量（嫩度）需要900到1700 nm光谱范围。CCD和CMOS传感器响应不足，标准化InGaAs该技术的成本可以达到70%以上的量子效率。另一个例子是，牛肉中的脂肪酸需要1000到2300 nm光谱范围。借助扩展InGaAs该传感器可检测900 nm至2.5 m适用于1的波长.7 m上述高光谱成像。可提供扩展波长InGaAs滨松光电公司发布了一系列图像传感器供应商之一QVGA InGaAs区域图像传感器，截止波长为1.7 m，1.9 m，2.2 m和2.5 m。动态范围光学传感器的动态范围对于在宽光谱范围内获取信息非常重要，特别是在部署扫描技术获取图像时。扫描摄像头可以同时捕获整个图像线和光谱信息，并将所有波长的曝光时间设置为值。因此，传感器需要有足够的动态范围来获得非常低的信号和整个光谱中的峰值信号。动态范围取决于读取噪声和传感器的饱和度。读取的噪声通常确定传感器可以检测到的最小信号电平。例如，要达到1.2V饱和输出电平下的1500动态范围需要800 V rms读出噪音，这是对的CMOS ROIC设计而言并不容易。长时间曝光 需要考虑暗电流散粒噪声，特别是在使用扩展的InGaAs例如，在相同的像素格式下，如果标准InGaAs传感器（1.7 m截止波长)暗电流指定为0.03 pA，则扩展的InGaAs传感器（2.5 m截止波长)暗电流可指定为30 pA。新型宽带LED与能将曝光时间设置为030秒的传统光谱相比，提高了高光谱成像应用的灵敏度，HSI曝光时间必须足够短（有时是毫秒，甚至是微秒，范围），以避免任何波长下的饱和，这可能导致曝光不足。如果传感器在任何波长下没有足够的灵敏度，一些光谱带的光谱就会降低，光谱测量的准确性就会降低。传感器的灵敏度包括光电二极管阵列的光电灵敏度和片上读出电路的电荷电压转换增益。然而，噪声水平通常随着灵敏度的增加而增加。使用区域扫描HSI该技术可以为每个波长设定适当的曝光时间或片上增益。例如，可以为低信号范围设置较长的曝光时间或较高的转换增益，为强信号范围设置较短的曝光时间或较低的转换增益，从而在整个波长范围内获得平滑的输出光谱。作为最流行的高光谱成像方法，pushbroom该方法按带状交错（BIL）格式存储高光谱数据立方体-一个方向连续扫描方案。因此，在线扫描相机特别适用于食品质量和安全检查、回收厂分类、药品标签和包装等工业过程中常用的传送带系统。对于快速移动物体的应用，快速收集变得非常重要。不仅曝光时间短，而且传感器设计的系统结构可以提高读取速度。例如，电路上的采样保持边读边积分（IWR）因此，当第二行曝光时，传感器可以开始读取第二行曝光，同时读取整条线（来自前一次曝光的数据）。区域扫描方法可以在一系列波长中记录空间和光谱信息，因此对快速成像应用非常有吸引力，但区域扫描相机不适合需要移动样本测量的应用。滨松光电制造的区域图像传感器具有列平行结构和部分读取（ROI）该功能不仅可以根据像素数量成比例缩短读取时间，还可以节省数据存储和数据处理。相机要求有两种类型的高光谱成像相机：线性扫描相机和表面扫描相机。线性扫描相机集成了线性一维传感器，具有帧率高、速度超过4万行/秒的优点，非常适合组装线的在线检查。当与人工智能（AI）它是检查系统的重要组成部分，用于缺陷识别或模式识别，因为高采集速度可以基于AI分类和缺陷识别任务。区域扫描相机集成2D传感器，并通过生成快照图像来提供高空间信息。典型的区域扫描InGaAs摄像机采用QVGA或VGA格式。相机可以快速捕获许多图像，提供广泛的视野，并适用于广泛的农业成像应用。高光谱成像相机也可用于食品检验、安全、塑料分类和药物发现。大多数相机的传感器都有散热装置，可以降低噪音和暗电流，从而提高整体图像质量。板载内存或用户可访问FPGA使相机对定制非常有吸引力。选择接口接口是选择相机的一个重要考虑因素，因为它定义了相机的速度、连接性和与其他仪器的集成程度。有许多接口是为不同的目的设计的。USB和GigE最常见的例子包括RS-422 / LVDS，Camera Link，RS-232和CoaXPress界面。软件支持代表了系统开发的关键的软件和高光谱硬件匹配的关键步骤。由于相机必须在选定的软件环境中运行，因此必须考虑硬件驱动程序的支持。软件开发工具包支持是用户希望对接口进行自编程的主要考虑因素。编写自定义界面使用户能够完全控制最终用户体验。Python和C 是一种常见的编程语言，而Linux操作系统为控制设备和数据流提供了极大的灵活性。作为开发人员，必须确认照相机支持这些编程工具，或进行昂贵的系统重新设计。本文仅进行学术分享。如有侵权行为，请联系删除。D视觉车间精品课程官网:3dcver.com1.多传感器数据的多传感器数据集成技术2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)3.彻底了解视觉三维重建：原理分析、代码解释和优化改进4.中国第一个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释6.彻底了解视觉惯性SLAM：基于VINS-Fusion正式开课啦7.彻底了解基础LOAM框架的3D激光SLAM:8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)9.从零开始建造一套结构光3D重建系统[理论 源代码 实践]10.单目深度估计方法：算法梳理和代码实现11.自动驾驶深度学习模型部署实战12.相机模型与校准(单目 双目 鱼眼)13.重磅！四旋翼飞机：算法与实战14.ROS2从入门到精通:理论与实战15.国内首个3D缺陷检测教程：理论、源代码和实战重磅！DCVer-提交学术论文写作交流组成立扫码添加小助手微信，可申请加入3D视觉研讨会-学术论文写作和提交微信交流群旨在交流顶会、顶刊、SCI、EI等待写作和贡献。同时，我们也可以申请加入我们的细分交流小组。目前主要有3个D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器集成CV入门，三维测量，VR/AR、3D人脸识别、医学影像、缺陷检测、行人重识别、目标跟踪、视觉产品着陆、视觉竞赛、车牌识别、硬件选择、学术交流、求职交流ORB-SLAM微信群，如交流、深度估计等微信群。必须注意:研究方向 学校/公司 昵称，如:3D视觉 上海交通大学 安静。请按格式备注，可快速通过并邀请入团。请联系原稿。▲长按加微信群或投稿▲长按关注微信官方账号3D视觉从入门到精通知识星球:3D视觉领域的视频课程(3D重建系列、3D点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等。)总结知识点，进入高级学习路线，最新paper深耕分享、答疑五个方面，还有各种大型工厂的算法工程师进行技术指导。同时，星球将与知名企业合作发布3D视觉相关算法开发岗位和项目对接信息，打造集技术与就业于一体的铁杆粉丝聚集区，近4000星球成员打造更好的AI学习3D视觉核心技术，扫描查看介绍，3天内无条件退款圈子里有高质量的教程资料，回答问题，帮助你有效地解决问题，感觉很有用。请表扬和观看~