嵌入式工作室21级招聘-ML/CV(二期)学习笔记-邱子恒
Part1: color models and drawing figures on images
颜色模式
- RGB：
- R红色，G绿色，B蓝色，三色叠加形成其他颜色，三种颜色均有256个亮度水平，叠加后共有1670万种颜色，即真色；
- 发光屏幕的色彩模式；
- 颜色超出打印范围，不适合打印；
- CMYK：
- C青色（Cyan），M洋红色（Magenta），Y黄色（Yellow），K黑色（Black）；
- 根据油墨的光吸收/反射特性，适用于印刷媒介；
- 用CMYK图像处理速度慢；
- HSV（HSB）：
- H表示色相（Hue），S表示饱和度（Saturation），V\B表示亮度（Value\Brightness）；
- 色相(色度):纯色，形成可见光谱的单色；饱和度:颜色的纯度，最大饱和度是每个色相中最纯的色光；亮度:颜色的亮度。零时是黑色，最大亮度是最鲜艳的颜色状态；
- 人脑根据色度、饱和度和亮度来区分颜色，因此该模式是最接近人眼的颜色模式；
- HSL：
- Hue 色相，Saturation 饱和度，Luminance 亮度；
- LAB：
- 由三个通道组成，一个通道是L(亮度)，另外两个是A和B(色彩通道)。A从深绿色(底亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；B从亮蓝色(底亮度值)到灰色(中亮度值)再到黄色(高亮度值)；
- 该模型定义的颜色最多，与光和设备无关，处理速度与RGB模式也快，比CMYK模式要快得多；
- 适用于图像编辑。
Links
色相
饱和度
亮度
Part2：filtering
滤波(filtering)
- 作用：图像滤波可以更改或者增强图像，强调一些特征或者去除图像中一些不需要的部分。
- 实现方法：滤波是一种操作算子，使用给定像素这个像素的最终输出值由值决定。
- 不要改变原图的大小
卷积(convolution)
实现：
- 滤波器矩阵(卷积核Kernel）= 新图像
- 改变原图大小！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
常见滤波器原理及应用场景：
-
模糊化
-
高通&低通滤波器
- 高通：让高频通过，阻挡低频，使边缘更加明显，增强图像。
- 低通道让低频通过，阻挡高频，去除噪音，使锐边光滑，图像模糊。
-
- 高斯噪声:服从高斯分布(正态分布)的噪声；传感器噪声是由不良照明和高温引起的；通常在RGB图像更明显；
- 胡椒盐噪声：通常是由图像传感器、传输通道、减压处理等引起的黑白亮点噪声（胡椒-黑、盐-白）；通常出现在灰度图中；
-
：将当前像素与其四邻域(上下左右)的像素平均，然后除以5
- 示意图
-
：从原矩阵中取出n*n排序个数，取中值
-
：图像降噪比平均模糊更平滑；构建权重矩阵进行滤波
- 在不改变图像亮度的情况下，滤波器的总权重等于1。
- 总重量大于1的滤镜会使图像变亮，小于1的滤镜会使图像变暗。
- ：过滤器属于，可以把，。
- 权重矩阵
-
：高斯模糊更能处理，保留边缘信息(高斯模糊对周围值等价权重，更容易模糊边缘)
- 方法：原理：与空间距离相关的高斯核函数*与灰度距离相关的高斯函数(添加对）
-
：只有一个方向模糊
-
-
阈值滤波
- 含义：像素值于时，赋予一个新值，否则赋予另一值
- 全局阈值：全图一个阈值
- 自适应阈值：不同区域采用不同阈值
-
梯度
-
含义：即图像变化的速度。对于图像的，其灰度值变化较大，；相反，对于图像中比较，其灰度值变化较小，相应的。一般情况下，图像的梯度计算是。
-
计算：一般通过计算来得到梯度的近似值，也可以说是近似导数。该导数可以用来表示。
-
：结合了高斯平滑和微分求导运算。利用局部差分寻找边缘
- cv2.Sobel(src, ddepth, dx, dy[, dst[, ksize[, scale[, delta[, borderType]]]]])
-
Scharr滤波器：对Sobel的优化
- Sobel中ksize=-1
-
Laplacian滤波器：先用Sobel 算子计算二阶x和y导数，再求和
- dst = cv2.Laplacian(src, ddepth[, dst[, ksize[, scale[, delta[, borderType]]]]])
-
-
Morphological transformations
- 含义：基于图像本身的一些来做的一些操作
- 类型
- Erosion 腐蚀：用于分离粘连对象、消除噪声；二值化时通常将前景设置为白色1，背景为黑0。Kernel从整张图片上滑动，如果kernel中，那么对应的像素才为1，反之为0。所以，图像会被掉，使前景物体变薄变小。
- Dilation 膨胀：与腐蚀相反，，那么对应的像素就为1，增加前景物体的厚度；用于使用腐蚀消除了图像中的噪音再使用膨胀，也可以用于连接对象的损坏部分。
- Opening：先腐蚀在膨胀，移除噪声
- Closing：先膨胀再腐蚀，消除前景中的空洞及小黑点
- Morphological Gradient：得到物体轮廓
Part3：
计算机视觉任务
- 分类（Image Classification）：对图像进行特征描述，检测一张图像是否包括一种物体。
- 定位（Image location）：在分类的基础上，定位目标物体的具体位置。
- 检测（Object Dection）：从图像中输出单个目标的标签；较定位更一般化~
- 分割（Semantic segmentation、Instance segmentation）：语义分割：判断图像中哪些属于哪个目标；实例分割：目标检测+语义分割，在语义分割的基础上更加细致划分物体区别。
Task1 ：边缘检测（Edge Detection）
- 目的：找到图像中的像素点构成的集合，测量和定位
- Canny detection
- 降噪（Noise reduction）：高斯降噪
- 计算梯度与方向角（Finding gradient and its direction）：
- Sobel边缘检测算子
- bx = abs(filter2(x_mask,a)); by = abs(filter2(y_mask,a));
- 非极大值抑制（Non-maximum suppression）
- 图像梯度幅值矩阵中的元素值越，说明图像中该点的，但这（这仅仅是属于图像增强的过程）。故需寻找像素点，将所对应的灰度值置为，这样可以掉一大部分。
- 如下图，就首先要确定像素点C的灰度值在其8值邻域内是否为。图中蓝色的线条方向为C点的，这样就可以确定其局部的最大值肯定，梯度方向的交点dTmp1和dTmp2这两个点的值也。因此，判断即可判断C点是否为其邻域内的。如果经过判断，C点灰度值这两个点中的任一个，那就说明C点不是局部极大值，那么则可以排除C点为边缘。
- 滞后阈值化（Hysteresis thresholding）
- 目的：排除噪声影响（即本应该连续的边缘出现断裂）
- 原理：
- 设定一个高阈值T1，一个低阈值T2
- 如果该像素的梯度值，则该像素为边缘像素；
- 如果该像素的梯度值，则该像素为非边缘像素；
- 如果该像素的梯度值，需要进一步检测该像素的3×3，如果这8个点内有的点梯度超过了T2，则该像素为边缘像素，否则不是边缘像素。
task2：人脸检测 （Face Detection）
Haar-like feature
- 含义：边缘特征、线性特征、点特征（中心特征）、对角线特征
- Haar-like特征值：填充区域的像素值之和与填充区域的像素值之和
SOTA
- SOTA model：State-Of-The-Art model，是指在该项研究任务中，对比该领域的其他，这个是目前最好/最先进的模型。
- SOTA result：State-Of-The-Art result，此paper的结果对比已经存在的，此Paper的模型具有最好的。 te-Of-The-Art model，是指在该项研究任务中，对比该领域的其他，这个是目前最好/最先进的模型。
- SOTA result：State-Of-The-Art result，此paper的结果对比已经存在的，此Paper的模型具有最好的。