图像（image）它是通过以不同的形式和手段观察客观世界而获得的实体，可以直接或间接地作用于人眼并产生视觉感知。 在客观世界中，以自然形式呈现的图像通常被称为物理图像（也被称为连续图像，图像信号值是连续变化的）。计算机不能直接处理物理图像，因为计算机只知道离散数字（0和1），所以在计算机处理之前，图像必须转换为数字形式，即数字图像。 物理图像的连续信号值被离散(采样)（sample））后来，我得到了一个被称为像素的像素（pixel）由小块区域组成的二维矩阵可用于表示数字图像。每个像素包括两个属性：位置和颜色（或亮度）。有些设备可以收集3D图像的基本单元是体素（voxel）。 图像采集设备采集生成的每个二维矩阵都是具体值。有时，这个二维矩阵的每个项目都可以是一个函数： F=[■(f_1,1&f_1,2&?&f_(1,N)@f_2,1&f_2,2&?&f_(2,N)@?&?&?&?@f_(M,1)&f_(M,2)&?&f_(M,N) )] 在这里，上述矩阵也可以写成一组行向量或列向量。 对于灰度图像(单色图像)，每个像素的亮度由一个整数表示，通常在0到255之间(8-bit)。彩色图像可以用红、绿、蓝三元组(光三基色)的二维矩阵来表示。通常，三元组的每个数值也是在0到255之间，0表示相应的基色在该像素中没有，而255则代表相应的基色在该像素中取得最大值。 在采样物理图像并转换为数字图像的过程中，使用分辨率（resolution）表示采样的准确性。一种分辨率单位是DPI（dot per inch），也就是说，在单位长度(1英寸)上采样的像素数。采样越密集，分辨率越高，图像越清晰，但存储空间越大。 从收集到的图像来看，空间视觉中的精度对应于其空间分辨率，而范围内的精度对应于其范围分辨率。前者对应数字空间采样点（用不同维度的像素数表示，如1920×1080)，后者对应采样点值的量化级数(灰度图像指灰度级数，深度图像指深度级数)。它们都是图像采集装置的重要性能指标。 量化（quantification）图像采样后，将图像颜色或亮度的连续变化值分散为整数值。（quantitative level）描绘量化的精细度。量化级越高，色彩越丰富，但占用空间越大。

量化级数的选择主要基于两个因素：一是人类视觉系统的分辨率，即人们应该看到图像中的连续亮度变化，而不是（间歇）量化级数；二是满足特定应用程序所需的分辨率。比如有些应用只需要区分目标和背景(比如很多文档)，这个时候只需要二值图像。如果图像显示在屏幕上，人们可以看到灰度（颜色）的跳跃，则需要使用更多的量化级数。实际上，许多图像被量化为256级，即每个像素使用一个字节。一个原因是计算机按字节读取，另一个原因是256级灰度通常给人一种连续灰度的感觉。由于人类视觉系统对相对亮度差的分辨率不到2%(总亮度范围)(个别视力好的人除外)，即使实际采集的图像灰度范围没有完全占据所有量化级数(包括个别像素过暗或过亮)，也不容易出现虚假轮廓。另外，在有些特殊应用（如医学图像）中，需要区分很微小的变化，此时常需要使用多于8比特的量化级数。 对于256级灰度的图像，如果保持空间分辨率，只将灰度级数降低到128或64，一般无法发现明显差异。如果灰度等级进一步降低到32，在原图灰度变化缓慢的区域，往往会出现一些看不见的非常薄的山脊结构。这种效应称为虚假轮廓（原始连续变化的灰度似乎有剧烈变化的灰度间歇），这是由于图像平滑区域使用的灰度等级不足造成的。它通常在16级或不到16级的均匀灰度级数图中更为明显。

图像与图形（graphics）区别(重点)

数字图像处理（Digital Image Processing，DIP）将一幅图像变成另一幅修改后的图像，是从图像到图像的过程。其主要研究内容如下: 图像变换、图像增强、图像恢复、图像分割、数学形态学、图像编码和压缩。 ·图像转换主要包括灰度转换、几何转换和正交转换。灰度转换的目的是控制图像灰度直方图的分布，改善输出图像。几何转换对生成数字校准、图像校准、校正、投影和特殊视觉特效非常有用。 正交换是将表示图像的二维矩阵视为特殊的二维信号并转换为频域，以加强对图像信息的识别和理解。广泛应用于图像特征提取、图像增强、图像压缩和图像识别领域。 ·图像增强包括空域滤波增强和频域滤波增强。其主要目的是根据任务目标突出图像中感兴趣的信息，消除干扰，提高图像的视觉效果器识别的信息。 ·图像恢复是指根据图像退化模型消除或减少图像质量下降（即退化）现象，恢复图像的原始面貌。退化包括由成像系统的光学特性引起的畸变（distortion）以及噪声（noise）以及相对运动引起的模糊(即运动模糊，motion blur）等情况。 ·图像分割的主要目的是根据图像的某些特征将图像分为不重叠的区域，以便分析和识别图像中的物体或目标。图像分割是图像分析和理解的基础。 ·数学形态学主要用于处理二值图像，其数学基础是集合论。常见的形态操作包括膨胀、腐蚀、开启、关闭、细化等。数学形态学是分析图像几何特征的有利工具。

视频（video）可视为一组图像序列。如果要显示60 FPS（帧 / 分辨率为3840秒)×2160的8-bit如果不压缩影视图像2小时，需要多达3840×2160×3×8-bit×60 FPS×60 s≈10.75 TB存储空间(3×8-bit代表红、绿、蓝三个通道，每个通道可以表示256种颜色，范围为0-255)。数字图像数据的编码压缩已成为多媒体技术的重要研究课题，以节省存储空间。

图像编码和压缩是用一定的规则来改变和组合待处理的图像数据，以尽可能小的代码来表示尽可能多的数据信息。常见的压缩编码包括：Huffman编码，游程编码，JPEG、PNG、TIFF、EXIF等。

近年来，图像采集和加工技术得到了极大的关注和取得了巨大的进展，出现了许多新的理论、新方法、新算法、新手段和新设备。图像已广泛应用于科研、工业生产、医疗卫生、教育、娱乐、管理和通信，在促进社会发展和改善民生方面发挥了重要作用。 为了综合研究和应用各种图像技术，有必要建立一个整体框架-图像工程（IE）。图像工程是系统研究各种图像理论、技术和应用的新交叉学科。其研究方法与数学、物理、生理、心理、电子、计算机科学、模式识别、计算机视觉、计算机图形、人工智能、神经网络、遗传算法、模糊逻辑、生物医学、遥感、通信、文档处理等领域密切相关。

图像工程内容丰富。根据抽象程度和研究方法，可分为图像处理、图像分析和图像理解三个层次。 图像处理（IP）可视为一大类图像技术，强调图像之间的变换。虽然人们常用的图像处理一般是指各种图像技术，但狭义的图像处理技术的主要目标是对图像进行各种处理，以提高图像的视觉效果，为后续目标的自动识别奠定基础；或压缩图像编码，以减少图像存储所需的空间或图像传输所需的时间（降低传输通道的要求）。 图像分析（IA）对图像中感兴趣的目标进行检测和测量，以获取其客观信息，从而对图像和目标进行描述。如果说图像处理是一个从图像到图像的过程，则图像分析是一个从图像到数据的过程。这里的数据是指不同于(原始)图像的描述信息，通常更精细、有价值、非图像形式。它可以是测量目标特征的结果，也可以是基于测量的符号。它们描述了图像中目标的特征和性质。 图像理解（IU）重点是在图像分析的基础上，进一步把握图像中目标的性质和它们之间的联系，通过理解图像内容的含义来解释原始的客观场景，从而指导和规划行动。如果图像分析主要以观察者为中心研究客观世界（主要研究可观察到的东西），那么图像理解在一定程度上是以客观世界为中心，借助知识和经验了解整个客观世界（包括未直接观察到的东西）。

图像处理是一种相对较低的操作，主要处理图像的像素级别，处理数据量一般非常大；图像分析进入中间层，通过分割和特征提取将原始图像转换为简单的非图形描述；图像理解主要是高级操作，基本上是从描述中抽象的符号，其处理过程和方法与人类思维推理有许多相似之处。随着抽象程度的提高，数据量通常会逐渐减少。也就是说，经过一系列的加工过程，原始图像数据从低层到高层逐渐转化为更有组织、更有用的信息。在此过程中，一方面，语义不断引入，操作对象发生变化，数据量被压缩；另一方面，高层操作可以指导低层操作，提高低层操作的效率。图像的高层操作包括图像识别、图像理解和计算机视觉（computer vision，CV），已进入人工智能领域。

从图1.2.2可以看到图像工程三个层次的不同输入输出内容，以及它们与计算机图形学、模式识别、计算机视觉等类似学科的关系。图形学最初是指以图形、图表、绘图等形式表达数据信息的科学，而计算机图形学（computer graphics，CG）研究如何利用计算机技术产生这些形式。如果将其与图像分析进行比较，则处理对象和输出结果正好对调。计算机图形学试图从非图像形式的数据描述中生成(逼真)图像。（图像）模式识别类似于图像分析，但前者试图将图像分解为抽象描述的类别，输入相同，输出结果不同，转换方便；至于计算机视觉（CV）它主要强调使用计算机来实现人类的视觉功能，这实际上使用了三个层次的图像工程技术，但目前的研究内容主要与图像理解相结合。 从这个角度来看，上述学科是相互关联的，覆盖范围是一致的。事实上，这些术语通常是混合的，它们在概念或实践中没有绝对的界限。在许多情况下，它们只是不同专业和背景的人使用的不同术语。虽然它们有自己的重点，但它们通常是相互补充的。此外，上述内容学科都得到了包括人工智能、神经网络、遗传算法、模糊逻辑、机器学习、深度学习等新理论、新工具、新技术的支持。所以，它们都在近年得到了长足进展。总的来说，图像工程既能较好地将许多相近学科兼容并蓄，也进一步强调了图像技术的应用，所以我们选用图像工程来概括整个图像领域的研究应用。

近年来图像技术已在许多领域得到广泛应用，下面是一些典型的例子： (1)视频通信：可视电话，电视会议，按需电视（VOD），远程教育（网络教学）。 (2)文字档案：文字识别（光学字符识别，OCR），乐谱等符号的识别，结构文档（如：表格）分析，过期档案复原，邮件分拣，办公自动化，支票，签名辨伪，基于图像的内容搜索，数字图书馆建设。 (3)生物医学：红白细胞计数，染色体分析，X光、CT、MRI、PET、超声图像分析，显微医学操作，对放射图像、显微图像的自动判读理解，人脑心理和生理的研究，医学手术模拟规划，远程医疗。 (4)遥感测绘：矿藏勘探，资源探测，农作物状况监测，气象预报，自然灾害监测监控，地质、地势、地貌测绘与研究，环境污染监测。 (5)工业生产：工业检测，无损探伤（工业CT），自动生产流水线监控，邮政自动化，移动机器人，以及各种危险场合工作的机器人，无损探测，金相分析，印刷板质量检验，精细印刷品缺陷检测。 (6)军事公安：军事侦察（航空及卫星侦查照片的测绘与判读），合成孔径雷达图像分析，巡航导弹路径规划 / 地形识别 / 制导，无人驾驶飞机，战场环境 / 场景建模表示（军事仿真），安检，罪犯脸形合成、识别、查询，指纹、印章、钞票、手迹的鉴定识别。 (7)智能交通：太空探测、航天飞行、公路交通管理，自动行驶车辆安全操纵。 (8)文化娱乐：电影及制作、电视及编辑、体感游戏。

图像采集设备的常用评估指标如下： （1）线性响应：指输入物理信号的强度与输出响应信号的强度之间关系是否线性。 （2）灵敏度（sensitivity）：绝对灵敏度可用所能检测到的最小光子个数表示，相对灵敏度可用能使输出发生一级变化所需的光子个数表示。 （3）信噪比（Signal noise ratio，SNR）：指所采集的图像中有用信号与无用干扰的（能量或强度）比值。 （4）不均匀度：指输入物理信号为常数而输出的数字形式不为常数的现象。 （5）像素形状：一般是正方形，但也有其他形状（如六边形）的。 （6）频谱灵敏度：对不同频率的辐射的相对敏感度。 （7）快门速度（Shutter speed）：对应采集拍摄时间。 （8）读取速率：指信号数据从敏感单元读取（传输）的速率。

当一幅图像的灰度级比较少时，图像的视觉质量会比较差，例如出现虚假轮廓现象。为改善图像的质量，常使用抖动（jitter）技术，它通过调节或变动图像的幅度值来改善量化过粗图像的显示质量。 抖动可通过对原始图像f(x,y)加一个随机的小噪声d(x,y)来实现。由于d(x,y)的值与f(x,y)没有任何有规律的联系，所以可帮助消除量化不足而导致的图像中出现虚假轮廓的现象。

存储图像需要大量的空间。在计算机中，图像数据最小的量度单位是比特（b），其上有字节（l B＝8 b）、KB（2^{10B）、MB（2}20B）、GB（2^{30B）、TB（2}40B）、PB（2^{50B）、EB（2}60B）、ZB（2^{70B）、YB（2}80B）等。 个人计算机中，常见的存储介质的一般存储容量如下（仅供参考，书本给的数据太旧）： 机械硬盘（Hard Disk Drive，HDD） 500 GB到16 TB不等（机械盘的标称容量单位均为1000进制） 固态硬盘（Solid State Drive，SSD） 120 GB到4 TB不等 U盘（USB Flash Drive） 约16 GB到512 GB Micro-SD（TF）卡 约16 GB到512 GB 蓝光光盘（Blu-ray Disc） 25 GB / 50 GB / 100 GB / 128 GB（光盘的标称容量单位均为1000进制）

图像文件指包含图像数据的计算机文件。文件内除图像数据本身以外，一般还有对图像的描述信息，以方便读取、显示图像。图像数据文件主要使用光栅（raster）（也称位图或像素图）形式，这个形式与人对图像的理解一致（一幅图像是许多图像点的集合）。它的主要缺点是没有直接表示出像素间的相互关系，且限定了图像的空间分辨率。后者带来两个问题：一个是将图像放大到一定程度就会出现方块效应；另一个是如果将图像缩小再恢复到原尺寸，则图像会变得比较模糊。图像数据文件的格式已有很多种，不同的系统平台和软件常使用不同的图像文件格式。下面简要介绍常见的图像文件格式。

（1）BMP格式 BMP格式是Windows环境中的一种标准，它的全称是Microsoft设备独立位图（DIB）。BMP文件也称位图文件，包括3部分：①位图文件头（也称表头）；②位图信息（常称调色板）；③位图阵列（即图像数据）。一个位图文件只能存放一幅图像。

位图文件头长度固定为54 B，它给出图像文件的类型、大小和位图阵列的起始位置等信息。位图信息给出图像的长、宽、每个像素的位数（可以是1、4、8、24，分别对应单色、16色、256色和真彩色的情况）、压缩方法、目标设备的水平和垂直分辨率等信息。位图阵列给出原始图像里每个像素的值（每3个字节表示一个像素，分别是蓝、绿、红的值），它的存储格式可以有压缩（仅用于16色和256色图像）和非压缩两种。 调色板还有一个更确切的名称“颜色查找表（Look Up Table，LUT）”。引入调色板的目的是节约存储空间。在颜色数量不多时，每种颜色只使用一个字节去索引。在Windows位图中便使用到了调色板技术，不仅仅是Windows位图，其他许多图像文件格式如“.gif”、“.tif”都用到了调色板。 BMP存储24位真彩图像时，不使用调色板。原因很简单：如果使用调色板，表示一个像素颜色在调色板中的索引要用24位（因为共有224种颜色，即调色板有224行），这和直接用R、G、B这3个分量表示用的字节数一样，不但没有节省任何空间，还要加上一个调色板所占的空间224×3个字节。

（2）GIF格式 GIF格式是一种公用的图像文件格式标准，它一般是8位文件格式（一个像素一个字节），所以最多只能存储256色图像。GIF文件中的图像数据是无损压缩的。 GIF文件结构较复杂，一般包括7个数据单元：文件头，通用调色板，图像数据区，以及4个补充区。其中文件头和图像数据区是不可缺少的单元。 一个GIF文件可以存放多幅图像（对动画很有利），所以文件头中会包含适用于所有图像的全局数据和仅属于其后那幅图像的局部数据。当文件中只有一幅图像时，全局数据和局部数据一致。多幅图像存放时，每幅图像集中成一个图像数据块，每块的第一个字节是标识符，指示数据块的类型（可以是图像块、扩展块或文件结束符）。 GIF图像支持存储透明度（transparency）信息。

（3）TIFF格式 TIFF格式是一种独立于操作系统和文件系统的格式，便于在软件之间进行图像数据交换。TIFF图像文件包括文件头（表头）、文件目录（标识信息区）和文件目录项（图像数据区）。文件头只有一个，且在文件前端，它给出数据存放顺序、文件目录的字节偏移信息。文件目录给出文件目录项的个数信息，并有一组标识信息，给出图像数据区的地址。文件目录项是存放信息的基本单位，也称域。这些域可分为基本域、信息描述域、传真域、文献存储域和检索域5类。 TIFF格式支持任意尺寸的图像，文件可分4类：二值图像、灰度图像、调色板彩色图像和全彩色图像。一个TIFF文件中可以存放多幅图像，也可存放多份调色板数据，还可以存放多个图层。 该格式支持压缩；支持单色、256色、24位真彩色、32位色、48位色等多种色彩位；同时支持RGB、CMYK、YCbCr等多种色彩系统（见第二章）。