830数字图像处理

xiaozongpeng

参考：知乎、csdn、百度百科部分帖子，知博书店、红果研资料，冈萨雷斯数字图像处理。侵删。

Ch1绪论

基础

1.（2012-1-5）（2008-1-5）数字图像
是将一幅画面在空间上分割成离散的点，各点的灰度值经量化用离散的整数来表示，形成计算机能处理的形式的图像。
2.（2012-1-4）（2008-1-4）（2006-1-4）（2005-1-4）局部运算


其中


是一个归一化系数，其含义为像素i的值yi等于其邻域像素值yj的一个线性组合，wj则是yj的权重。局部运算即考虑运算点与其邻域的关系进行运算。
2-1.（2004-1-4）点运算
运算结果仅取决于点的灰度的运算有时称之为点处理技术，即只根据对应像素的输入灰度值决定该像素输出灰度值的图像处理技术。
3.（2009-1-1）（2004-1-2）图像对比度Ed4-p38
物体平均亮度(或灰度)与其周围背景的差别程度。
指的是一幅图像中最高和最低灰度级的灰度差，即指一幅图像灰度反差的大小。一幅图像中的可观像素量具有高动态范围时，我们称该图像具有高对比度；相反，具有低动态范围的图像看起来通常很灰暗。
4.（2005-1-2）像素
像素是构成数字图像的基本单元，由一个数字序列表示的图像中的一个最小单位称为像素。像素可以用来衡量分辨率。
描述图像空间分布用直方图，图像的质量用信噪比。
1.1什么是数字图像处理1.2数字图像处理的起源

1.（2003-1-1）试述数字图像处理、计算机图形学与计算机视觉的区别。
数字图像处理的输入输出均为图像，其中进行了去除噪声、图像锐化等操作，
同时可能有分析诊疗结果；计算机图形学输入为数学描述或模型,输出为图像；计算机视觉输入为一幅图像，输出为现实三维世界。
1.3数字图像处理应用领域实例+

1.伽马射线成像：伽马射线成像的主要用途包括核医学和天文观测。
在核医学中，这种方法是将放射性同位素注射到人体内，当这种物质衰变时就会放射出伽马射线，然后用伽马射线检测仪收集到的放射线来产生图像。
2.X射线成像：X射线是最早用于成像的电磁辐射源之一。最熟悉的X射线应用是医学诊断,但是X射线还被广泛用于工业和其他领域，如天文学。
用于医学和工业成像的X射线是由X射线管产生的，X射线管是带有阴极和阳极的真空管。阴极加热释放自由电子,这些电子以很高的速度向阳极流动，当电子撞击一个原子核时，能量被释放并形成X射线辐射。X射线的能量由另-边的阳极电压控制，而X射线的数量由施加于阴极灯丝的电流控制。
血管照相术是对比度增强辐射成像领域中的另一个主要应用。该过程用于得到血管的图像(称为血管造影照片)。一根导管(柔软且中空的小管)插入动脉或静脉，导管穿过血管并被引导到要研究的区域。当导管到达所研究的部位时，将X射线造影剂注人导管。这会增强血管的对比度，并可以让放射线学者观察到任何病变或阻塞。
3.紫外波段成像：紫外“光”的应用多种多样，包括平板印刷术、工业检测、显微镜方法、激光、生物成像和天文观测等。
我们仅用显微镜方法和天文观测作为例子来说明这一波段的成像。
紫外光用于荧光显微镜方法中，这是显微镜方法中发展最快的领域之一。 荧光是在19 世纪中叶现的一种现象。当时，当紫外光直接照射到矿物质上时，首次发现荧石发出了荧光。紫外光本身并不可见，但当紫外辐射光子与荧光材料内原子中的电子碰撞时，它把电子提高到较高的能级，随后受激电子释放到较低的能级并以可见光范围内的低能光子形式发光。
4.可见光及红外波段成像：由于电磁波谱可见光波段在所有波段中是我们最熟悉的，因此，这一波段的成像 应用领域远远超过其他波段的成像应用领域就不足为奇了。红外波段常用于与可见光相结合成像，为便于说明，本节把可见光和红外光合并在一起讨论。下面的讨论将涉及光显微镜方法、天文学、遥感、工业和法律实施等方面的应用。
可见光显微技术得到的图像涵盖了从制药和微检测到材料特征的范围。甚至仅在显微镜方法中，其应用领域如此之多，以至于不能在这里详细列出。
可见光处理的另一个主要应用领域是遥感，遥感通常包括可见光和红外波谱范围的一些波段。人口中心地区的图像常被用来评估人口增长和变迁方式、污染及其他有害环境的因素。界定河流。
天气观测与预报也是卫星多光谱成像的主要应用领域。
可见光谱中的一个主要成像领域是生产产品的自动视觉检测。
5.微波波段成像：微波波段成像的典型应用是雷达。成像雷达的独特之处是在任何范围和任何时间内，不考虑气候、周围光照条件的收集数据的能力。某些雷达波可以穿透云层，在一定条件下还可以穿透植被、冰层和极干燥的沙漠。在许多情况下，雷达是探测地球表面不可接近地区的唯一方法。
成像雷达的工作原理就像一台闪光照相机，它自己提供照明(微波脉冲)去
照亮地面上的一个区域，并得到一幅快照图像。
6.无线电波段成像：正像波谱另一端(伽马射线)的成像情况那样，无线电波段成像主要应用于医学和天文学。
在医学中，无线电波用于核磁共振成像(MRI)。该技术是把病人放在强磁场中，并让无线电波短脉冲通过病人的身体，每个脉冲将导致由病人的组织发射的无线电响应脉冲，这些信号发生的位置和强度由计算机确定，从而产生病人的一幅二维剖面图像。MRI可以在任何平面产生图像。
7.使用其他成像方式的例子：虽然电磁波谱成像一直占主导地位，但大量的其他成像方式也很重要。例如声波成像、电子显微镜方法和(由计算机产生的)合成成像。
1.4数字图像处理的基本步骤

【图像增强】

1.（2008-1-1）什么是图像增强？图像增强的概念？
图像增强是指采用一系列技术改善图像的视觉效果，或者将图像转换成一种更适合与人或机器进行分析和处理的形式。
2.图像增强的主要方法（按照图像的作用域分类）：
空间域增强：直接对图像各像素进行处理。
频率域增强：对图像经傅里叶变换后的频谱成分进行处理，然后用傅里叶逆变换得到需要的图像。
3.图像增强的目的？为什么要进行图像增强？
第一，改善图像的视觉效果。在图像拍摄时经常会受到场景条件的影响使得拍摄的视觉效果不好，通过图像增强可以改善视觉效果，如增加对比度有利于识别、跟踪和理解图像中的目标。
第二，突出图像中感兴趣的信息，抑制不需要的信息，来提高图像的使用价值。
第三，转换为更适合人或机器分析处理的形式。
第四需要注意的一点是增强后的图像不一定保真。
4.（2013-1-9）图像增强和图像复原（图像恢复）的目的有何差别？图像增强与图像复原的差别？
图像增强不考虑图像是如何退化的，而是主观上试图采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要达到想要的目视效果就可以。
而图像复原就完全不同，需知道图像退化的机制和过程等先验知识，客观上找出一种相应的逆处理方法，从而得到复原的图像。
如果图像已退化，应先作复原处理，再作增强处理。
前者是主观增强，后者是客观恢复，二者的目的都是为了改善图像的质量。
5.图像增强的几种方式
点处理（对图像做逐点运算）、局部处理（在与像素有关的局部空间域进行）、全局处理（在整个图像空间域进行）。
【图像锐化与图像平滑】

1.（2011-1-2）（2009-1-7）图像尖锐化
是一种突出和加强图像中景物的边缘和轮廓的技术。
2.（2012-1-6）（2004-1-3）图像平滑
减弱、抑制和消除噪声而改善图像质量的方法称之为图像平滑。
【图像复原】

1.（2011-1-3）（2010-1-5）（2009-1-2）（2012-1-1）（2007-1-1）图像复原的概念？什么是图像复原？
图像复原就是尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理，也就是如果我们知道图像是经历了什么样的过程导致退化，就可以按其逆过程来复原图像。
2.图像复原过程流程？
找退化原因→建立退化模型→反向推演→恢复图像
典型的图像复原是根据图像退化的先验知识，建立退化现象的数学模型，再根据模型进行反向的推演运算，以恢复原来的景物图像。因此，图像复原的关键是知道图像退化的过程，即图像退化模型。并据此采用相反的过程求得原始图像。
3.图像复原的方法主要有？
代数方法恢复、运动模糊恢复、逆滤波恢复、维纳滤波恢复、功率谱均衡恢复、约束最小平方恢复、最大后验恢复、最大熵恢复、几何失真恢复等。
【图像分割】

1.（2009-1-3）图像分割
图像分割是指将数字图像划分成互不相交（不重叠）、有意义、具有某种相同性质的区域的过程。
单色图像的分割算法依据的是灰度值的两个性质之一：不连续性和相似性。
2.为什么要进行图像分割
图像分割是图像识别和图像理解的前提步骤，图像分割质量的好坏直接影响后续图像处理的效果。
【其他】

1.（2022-1-8）什么是图像标记？举例其在图像分析中的应用。
每个数据科学任务都需要数据。具体地说，是输入系统的干净易懂的数据。说到图像,计算机需要看到人类眼睛看到的东西。
例如，人类有识别和分类物体的能力。同样,我们可以使用计算机视觉来解释它接收到的视觉数据。这就是图像标注的作用。
图像标注在计算机视觉中起着至关重要的作用。图像标注的目标是为和任务相关的、特定于任务的标签。这可能包括基于文本的标签(类)，绘制在图像上的标签(即边框)，甚至是像素级的标签。
(学长觉得题目的意思因该是图像标注，因为书上并没有图像标记的相关知识)
1.5图像处理系统的组成*

1.（2003-1-4）简述图像处理软件的开发步骤。
需求分析，初始设计，原则设计，详细设计，编写代码，测试与修正，维护。
Ch2数字图像基础

1.几何校正配准并计算某位置像素值。①2010-5、2011-10、2009-5、2008-3、2022-6；考察几何空间变换+图像配准+插值
2.采用双线性插值计算图像旋转放大。①2007-8、2006-6、2005-6；②2004-2；
3.旋转、放大、最邻近插值。①2008-5；
2.1视觉感知要素

1.（2015-1-6）在白天进入一个黑暗剧场时，能看清并找到空座位时，需要适应一段时间。请描述发生这种现象的视觉原理。
人的视觉绝对不能同时在整个亮度适应范围工作，它是利用改变其亮度适应级来完成亮度适应的，即所谓的亮度适应范围。同整个亮度适应范围相比，能同时鉴别的光强度级的总范围很小，因此白天进入黑暗剧场时，人的视觉系统需要改变亮度适应级，故需要适应一段时间。
什么是韦伯比？假设背景光强度为I，当光强度增加达到I+ΔI时，人的视觉对目标可分辨，则ΔI/I值称为韦伯比。
1-1.（2002-2-3）3简述人眼的视觉特性，并指出在进行图像处理过程中如何利用这些特性在不引起主观失真的情况下选取最佳处理方法。
明暗视觉及视觉范围:人眼的视觉范围为10-2至106坎德拉每平方米，人眼通过随外来光强弱的自动调节来适应这样宽的亮度范围，主要依靠视细胞本身的调节作用，其次是瞳孔的调节作用。在适当的平均亮度下能分辨亮度的上下限之比为1000: 1,在很低的平均亮度下，这一比值为10: 1。
亮度感觉:人眼对于不同亮度之间的鉴别能力是图像处理中所要考虑的一个重要方面可通过相对视敏函数曲线进行描述。
人眼的分辨率:人眼的分辨率与下述因素有关：景物成像在黄斑时,分辨率最高；照度太暗，仅杆状细胞起作用，分辨率下降；照度太亮，分辨率不会再增加，甚至因“眩目”而降低；相对对比度小，分辨率下降。
马赫带:人眼对于图像不同空间频率的成分具有不同的灵敏度。在进行图像处理过程中，可以利用保持相同的对比度给人眼以真实感觉，不必等于原来摄取实际景象时的亮度。对于运动图像，其每秒的帧数必须不致引起闪烁，通过空间与时间轴分辨率的交换来减小比特率。在做图像数据压缩时，可以充分利用人眼视觉特性提高压缩比，只要失真不被察觉，主观质量够高，可以大大提高压缩比。
2.（2002-1-9）光通量
光通量就是按人眼的光感觉来度量的辐射功率。
光通量，根据辐射对标准光度观察者的作用导出的光度量。
光通量是每单位时间到达、开或通过曲面的光能量。
3.（2002-1-10）马赫带效应Ed4-p27
马赫带效应就是当人眼观察一带内亮度均匀相邻两条带间相差一个固定值亮度由左至右依次增加的灰阶条带时,看上去每条带的左侧要比右侧亮一些。
马赫带效应是指图像不同灰度级条带之间在灰度交界处存在的毛边现象。
2.3图像感知与获取

感知与获取：传感器。（单个、条带、阵列）
2.4图像取样和量化

要产生一幅数字图像，就需要把连续感测的数据转换为数字形式。这种转换包括两种处理：取样和量化。
混淆:取样频率太低，采样后的离散看不出哪个是原图。(改善:增加取样频率)

• 采样时何时会产生频谱混叠?如何避免频谱混叠的发生?
  

答案:图像在空间位置上的离散化称为图像采样。图像采样的过程相当于用一个二维离散采样函数s(x,y)与原连续图像f(x,y)相乘,结果会使采样后的图像信号在位置上离散化，但其频谱等于原图像信号频谱的周期性延拓。要想从周期性延拓的频谱中恢复出原信号的频谱，必须保证原信号带宽有限,这是采样定理的条件。另外,如果采样频率过低,采样后周期性延拓的频率就会出现混叠，毁坏采样图像。为了避免混叠,必须采样频率不低于信号最高频率的两倍，这也是采样定理的基本内容。
1.（2003-1-2）图像的数字化包括哪些步骤？
图像的数字化由扫描、采样和量化三步组成。
2.4.1取样和量化的基本概念Ed4-p34

对坐标值进行数字化称为取样（采样），对幅度值进行数字化称为量化。
量化达到的精度高度依赖于取样信号中的噪声含量。
数字图像的质量很大程度上取决于取样和量化中所用的样本数和离散灰度级。
1.（2002-2-2）说出均匀和非均匀量化的概念及各自的适用范围。
均匀量化就是把整个取值范围均匀分为k个子空间，每个子空间由该子空间一个确定的值来表示，总共由k个确定的值来表示所有可能的值，称为k个层次的均匀量化。
为使均方误差最小(推导略)，取样值应在整个取值范围内均匀分布，且量化值取为每个子区间的中间值，所引入的量化误差最小。均匀量化适用于样本值分布均匀的情况，其均方误差为:


式中L为区间长度
对于样本值的分布不均匀，则取值的概率密度较小时，所取的量化区间长度应大一些，而取值概率密度较大的量化区间应小一些。
2.4.2数字图像表示

把连续图像取样为一幅数字图像f(x,y)，该图像包含有M行和N列，其中(x,y)是离散坐标，对这些离散坐标使用整数值：x=0，1，2…，M-1; y=0，1，2…，N-1。数字图像在任意坐标(x,y)处的值记为f(x,y)。


图像水平尺寸：M=2m
图像垂直尺寸：N=2n
像素灰度级数L（k-bit）：L=2k
图像所需（比特数）位数b：b=M×N×k
比特，位，字节，字之间的关系是：
1 比特 =1 位；1 字 =2 字节；1 字节 =8位；1字 =16位
比特（bit）是由英文BIT音译而来，比特同时也是二进制数字中的位，是信息量的度量单位，为信息量的最小单位；
位是计算机存储的最小单位，简记为b，也称为比特（bit）计算机中用二进制中的0和1来表示数据，一个0或1就代表一位。位数通常指计算机中一次能处理的数据大小；
字节，英文Byte，是计算机用于计量存储容量的一种计量单位，通常情况下一字节等于八位，字节同时也在一些计算机编程语言中表示数据类型和语言字符，在现代计算机中，一个字节等于八位；
字是表示计算机自然数据单位的术语，在某个特定计算机中，字是其用来一次性处理事务的一个固定长度的位（bit）组，在现代计算机中，一个字等于两个字节。
2.4.3线性索引和坐标索引



对应的线性索引值是：α=My+x；
2.4.4空间分辨率和灰度分辨率

空间分辨率是突出中最小可辨细节的测度。（由采样决定）
等偏爱曲线。Ed4-p44
1.（2011-1-7）（2010-1-6）（2012-2）（2008-1-2）（2006-1-2）灰度级分辨率
灰度分辨率是指在灰度级中可分辨的最小变化，通常是指量化灰度时所用的比特数。灰度分辨率越高图像质量越好，反之图像质量越差还可能出现假轮廓。
2.4.5图像内插

一.最邻近内插①2019-2
将原图像中最邻近的灰度值赋给每个新位置。
二.双线性内插
使用四个最邻近的灰度来计算给定位置的灰度。令(x,y)表示待赋灰度值的位置的坐标，令v(x,y)表示灰度值则：


三.双三次内插
包括16个最邻近点，赋给(x,y)的灰度值由如下公式得到：


其中，16个系数可用点(x,y)的16个最邻近点写出的16个未知方程求出。
1.（2003-3-3）令F(221, 396)=18，F(221, 397)=45，F(222, 396)=52，F (222, 397) =36,问F(221.3，396. 7)=?①用最邻近插值法，②用双线性插值法，写出双线性方程(形式如f(x, y)=ax+by+cxy+d)及各系数的值。
答：①45 ②38.07，f(x,y)=17062x+9530y-43xy-3781376
2.5像素间的一些基本关系

2.5.1像素的相邻像素2.5.2邻接 连通 区域 边界2.5.3距离测度

1.（2011-1-1）图像邻域
图像邻域是指一个像素(x,y)的邻近像素的合集，即{（x=p，y=q）}，p、q是任意整数。例如图像的四邻域{（x+1,y）,(x-1,y),(x,y+1),(x,y-1)}。
红果研讲义p23




2.6数字图像处理所用的基本数学工具介绍

2.6.2线性运算与非线性运算

2.6.5空间运算

一.单像素运算
二.邻域运算
三.几何变换
数字图像的几何变换由两种基本运算组成：
（1）坐标的空间变换。
（2）灰度内插，即为空间变换后的图像赋灰度值。
坐标变换可表示为：


【仿射变换】
1.旋转①2019-2


2.（2003-6）说出实现几何运算时的两种映射方法，并比较其优劣性。
向前映射法(像素移交法)和向后映射法(像素填充法)。向后映射法的效率较高，更切实可行。
四.图像配准


1.（2011-1-7）（2010-1-7）（2006-1-1）（2005-1-1）图像配准①2005-5、2021-6；
指对一幅图像寻求一种（或一系列）空间变换，使它与另一幅图像上的对应点达到空间上的一致，这种一致是指对象上的所有点或至少是感兴趣的所有点在两张已配准图像上有着相同的空间位置。
2.可能存在平移、旋转或比例变换，图像配准的计算①2012-5、2018-4、2014-4、2007-3；
Ch3灰度变换与空间滤波

3.1背景

3.1.1灰度变换与空间滤波基础

【灰度变换】
图像的灰度变换就是将图像的灰度值按照某种映射关系映射为不同的灰度值，从而改变相邻像素点之间的灰度差，达到改变图像对比度的目的。或者是将图像的灰度范围按照某种映射关系进行变换从而改变图像的灰度范围达到将图像灰度范围拉伸或压缩的目的。其方法包括使用灰度变换函数和直方图处理。
灰度变换原理：将图像中的灰度值按某种规律映射为新灰度。
1.（2006-1-3）（2005-1-3）对比度增强
采用图像灰度值变换的方法，改变图像像素的灰度值以改变图像灰度的动态范围，增强图像的对比度。
设原图像为f(x,y)，处理后的图像为g(x,y)，则对比度增强可表示为g(x,y)=T[(x,y)]。T为增强图像和原图像的灰度变换关系函数。
【空间滤波】
1.空间域
空间域是指图像本身，是包含图像像素的简单平面，指像素组成的空间。
2.空间域技术/空间域处理
空间域技术直接操作图像的像素，空间域处理指的是直接在图像所在空间进行处理。
空间域处理即g(x,y)=T[f(x,y)], f(x,y)是输入图像，g(x,y)是处理后的图像，T是在点(x,y)的邻域上定义的关于f的一种算子。
3.空间滤波器
空间滤波器也称空间掩膜、核、模板和窗口。空间滤波器由
①一个邻域（通常是一个较小的矩形）
②对该邻域包围的图像像素执行的预定义操作
两个部分组成。
4.空间滤波过程
邻域原点从一个像素向另一个像素移动，对邻域中的像素应用算子T，并在该位置产生输出。
空间滤波通过把每个像素的值替换为该像素及其邻域的函数值来修改图像，滤波器的中心访问输入图像的每个像素之后就产生了处理（滤波）后的图像。
3.2一些基本的灰度变换函数

线性（反转和恒等变换）函数、对数（对数和反对数变换）函数、幂律（n次幂和n次根变换）函数
1.(2022-1-2)如有两幅图片a,b。灰度级为0-255，则不断从a中减去b,最终会得到什么结果。
由于图片灰度级不能为负数，用a一直减去b图片(前提两种图片的尺寸是
一样的)，若b中不含有0灰度级，则最后结果一定是一张全黑的图片。若b中含有0灰度级，则对应位置a的灰度级不发生变化，其他位置还是变为全黑。
3.2.1-3.2.3图像反转、对数变换、幂律（伽马）变换

【图像反转】
s=(L-1)-r
对暗色图像增强效果好。
【对数变换】
s=clog(1+r)
对数变换：低灰度区扩展、高灰度区压缩；反对数变换相反。


【幂律（伽马）变换】①2021-8；
s=crγ
图像偏暗→γ＜1的幂律变换对低灰度值进行拉伸；图像苍白→γ＞1的幂律变换对高灰度值进行拉伸。


1.（2018-1-4）对数变换和反对数变换的优缺点。
（2015-1-3）分别用对数变换和反对数变换处理一幅灰度图像，请定性地对比分析各种的处理效果。
（2022-1-1）简述对数变换和反对数变换的区别
对数变换：它的通用形式：s=clog（1+r）（c为常数，r≥0）。该变换将输入中较窄的低灰度映射为输出中较宽范围的灰度值，同时压缩更高灰度级的值。（低灰度扩展，高灰度压缩）
反对数变换，它的作用与对数变换相反，高灰度区扩展，低灰度区压缩，适合对像素灰度集中在高灰度区的图像进行处理。
3.2.4分段线性变换函数

对比度拉伸、灰度级分层（突出图像中的特定灰度区间）、比特平面分层
1.灰度范围拉伸计算①2011-3、2015-3；②2013-4；③2021-7；
2.画出直方图并进行分段线性变换、计算特定值的像素数。①2004-3；
3.计算一个线性拉伸的灰度函数。①2003-3-2；
对比度拉伸：是扩展图像灰度级动态范围的处理。通过拉伸图像所包含的强度值范围以跨越所需值范围来提高图像的对比度。
比特平面分层:代替突出灰度级范围，突出特定比特来为整个图像外观做出贡献。像素是比特组成的数字，一幅8比特图像，可以认为是8个1比特的平面组成，其中平面1包含图像中所有像素的最低阶比特，而平面8包含图像中所有像素的最高阶比特。
3.3直方图处理

Pre.(2003-1-5)试用数学表达式给出直方图(Histogram)、概率密度函数(PDF)和累积分布函数(CDF)的定义。Ed4-p86

• 直方图
  

令rk，k=0，1，2，…，L-1表示一幅L级灰度数字图像f(x,y)的灰度。f的非归一化直方图定义为
h（rk）=nk，k=0，1，2，…，L-1
式中，nk是f中灰度为rk的像素的数量，并且细分的灰度级称为直方图容器。类似的，f的归一化直方图定义为：


式中，M和N分别是图像的行数和列数。多数情况下我们处理的是归一化直方图，我们将这种直方图简单的称为直方图或图像直方图。
2）概率密度函数PDF
令r表示图像的灰度，值域为[0,L-1]，r=0表示黑色，r=L-1表示白色。概率密度函数pr（r）表示灰度值为r的点在图像中出现的概率。它满足以下条件：
①pr（r）≥0
②对于所有r的取值对应的pr（r）的和为1。
3）累积分布直方图CDF
累积分布函数是把某个给定点之前的所有概率都加（积）起来。随机变量r的累积分布函数为：


3.3.2-3.3.4直方图均衡化、规定化、局部处理、统计量

1.（2018-1-5）（2008-1-3）直方图均衡化？解释直方图均衡化并说明直方图均衡化采用了什么函数进行点运算？
（2003-7）试解释直方图均衡化，说出直方图均衡化采用了什么函数进行点运算。
①2018-6、2014-6、2022-2；②2013-7、2020-2-2；③2015-7；④2016-5、2009-9、2007-5、2006-2、2005-2；⑤2002-3-1；⑥2021-5；
直方图均衡化是将原图像通过某种变换，得到一幅灰度直方图为均匀分布的新图像的方法。
直方图均衡化利用累积分布函数实现直方图各个灰度级的像素点数目相同。
2.直方图匹配（规定化）①2019-4、2012-10、2020-2-4
用于生成具有规定直方图的方法，称为直方图匹配或者直方图规定化。
3.（2014-1-1）（2021-1-2概述直方图均衡化和直方图规定化（直方图匹配）的区别与联系。
联系：都是为了增加图像灰度值的动态范围从而达到增强图像整体对比度的效果，并且直方图均衡化是直方图规定化的一种特例。
区别：直方图均衡化可以自动增强整个图像的对比度，但它的具体效果不易控制，处理结果也是得到全局均衡化的直方图；从而直方图规定化比较灵活，它可以变换直方图，使之成为某个特定的形状，从而有选择地增强某个灰度值范围内的对比度。
4.（2013-1-1）（2019-1-1）（2015-1-2）为什么常规的离散直方图的均衡化一般不会产生具有平坦直方图的图像？
因为直方图是近似的概率密度函数。由于离散图像的直方图也是离散的，其灰度累积分布函数是一个不减的阶梯函数。如果映射后的图像仍然能取到所有的灰度级，则不发生任何变化。如果映射的灰度级小于256，变换后的直方图会有某些灰度级空缺，即调整后灰度级的概率基本不能取得相同的值，故产生的直方图不会完全平坦。
5.（2014-1-4）请描述一幅灰度图像的直方图分布于图像视觉效果之间的关系。
答：①若直方图的分量集中在灰度级的低（暗）端，则图像看起来比较暗。
②若直方图的分量集中在灰度级的高（亮）端，则图像看起来比较亮。
③若直方图较窄且分量集中于灰度级的中部，则其对比度较低，对于单色图像则图像昏暗好像灰度被冲淡了一样。
④若直方图的灰度分量覆盖了很宽的灰度级范围且像素分布比较均匀，则其对比度高。
总之，若一幅图像的像素倾向于占据整个可能的灰度级且分布均匀，则该图像会有高对比度的外观，并展示灰色调的较大变化，最终结果是一幅灰度细节丰富且动态范围大的图像。
5-1（2016-1-3）说明一幅图像的直方图分布与亮度及其对比度的关系。
直方图的山峰集中在低端，则图像较暗，反之，图像较亮。直方图的峰值集中在某个区域，图像昏暗，而图像中的物体和背景相差很大的图像其直方图具有双峰特性。总之，直方图分布越均匀，图像对比度越好。
5-2（2015-1-1）图像亮度增大或减小时。图像直方图如何变化？当图像对比度增大或减小时图像直方图如何变化？
图像的亮度增大，即亮图像，它的直方图的分量倾向于灰度级的高端；图像的亮度减小，即暗图像，直方图的分量集中在灰度级的低（暗）端。当图像的对比度减小时，直方图变窄，且集中在灰度级的中部，对于单色图像，这意味着暗淡，好像灰度被冲淡了一样；当图像的对比度增大时，直方图的分量覆盖了很宽的灰度级范围，而且像素的分布比较均匀。
5-3（2015-2）图像的直方图基本上可以描述图像的概貌。就下面所给的(a)、(b)、(c)、(d)四个直方图，试分析和比较对应的四幅图像的明暗状况和对比度高低等特征。


a图：像素主要分布在低灰度区域且十分集中，图像整体偏暗且细节不易分辨、对比度低
b图：像素主要分布在中高灰度区域，图像亮度偏亮，对比度偏低
c图：像素过于集中分布在中灰度区域内，图像细节难以分辨，对比度低
d图：像素分布在整个灰度范围内且较为均匀，图像效果好，对比度很高
6.（2013-1-7）（2020-1-2）设已用直方图均衡化技术对一幅数字图像进行了增强，如再用这一方法对所得结果增强会不会改变其结果？为什么？
从原理上分析，直方图均衡化所用的变换函数为原始直方图的累积直方图，均衡化后得到的增强图像的累积直方图除了有些合并项以外，其余项与原始图像的累积分布直方图相同。如果再次均衡化，所用变换函数即为均衡化后得到的增强图像的累积直方图并且不会有新的合并项，所以不会改变其结果。
7.（2010-10）证明：直方图均衡化函数就是图像的累积直方图
Ps：给出直方图均衡化的推导过程期末p32


8.（2018-9）下面给出了在浅色背景上的某个水果的20级灰度图像的直方图。每个数字分别表示图像中对应该灰度级的像素个数，左端表示黑色，右端表示白色。假定对于该水果的图像，相邻像素间距等效为实物间距1.5mm。已知该水果可能是一个橙子或者柚子，请问最有可能是哪种水果?请给出推导过程。
[0,100,200,300,500,600,500,300,200,100,200,500,3000,8000,20000,8000,3000,500,100,0]
从直方图来看，背景和水果分布近似两个正态分布，呈现出明显的双峰，可选取直方图双峰之间的谷点（第10和11级之间）作为阈值。将深色水果从浅色背景中分离出来。
属于水果的像素个数估计100+200+300+500+600+500+300+200+100=2800，由于可能的水果都近似球形，即在图像上的投影都近似圆形。假设半径占R个像素，则属于水果的像素个数约为ΠR2=2800，故半径为29.9像素，对应实物半径约为29.9×1.5=44.85mm，所以该水果可能是一个橙子。
9.(2011-5)已知一幅图像的灰度级为8，图像的左边一半为深灰色，其灰度值为1，右边一半为黑色，其灰度值为0.试对此图像进行直方图均衡化处理，并描述处理后的图像视觉效果。
由题意及直方图均衡化函数：


处理后的图像灰度级0和1分别影射为4和7，因此原图像变为灰白。
10.（2012-7）（2008-7）给出图像的概率密度函数求其变换到另一概率密度函数的变换函数。
11.（2012-8）（2010-2）（2007-7）（2005-8）求将一幅图像变换为给定均值和方差的图像所采用的线性变换。
12.（2013-1-4）（2014-1-8）将高频加强和直方图均衡相结合是得到边缘锐化和对比度增强的有效方法，上述两个操作的先后顺序对结果有影响吗？为什么？
有影响，应该先进行高频加强再进行直方图均衡化。
先高频加强是针对通过高频滤波后的图像整体偏暗，因此通过提高平均灰度的亮度，使图像的视觉鉴别能力提高，再通过直方图均衡化将图像的窄带动态范围变为宽带动态范围，从而达到提高对比度的效果。
若先进行直方图均衡化再进行高频加强，对于图像亮度呈现较强的两极现象时：例多数像素分布在极暗区域，少数像素分布在极亮区域时，先直方图均衡化会导致图像被漂白，此时再进行高频增强会导致获得的图像边缘不突出，图像的对比度较差。
高频加强滤波器可以有效增强图像边缘和灰度平滑区的对比度。
3.4空间滤波基础

3.4.1线性空间滤波器的原理

大小为m×n的核，假设m=2a+1，n=2b+1，其中a、b是非负整数。
一般来说m×n的核对大小为M×N的图像的线性空间滤波可以表示为：


3.4.2空间相关与卷积

【卷积】①2019-3、2013-2；②2008-9、2006-5、2010-8；
1.（2004-1-6）卷积
一种将两个函数组合生成第三个函数的运算，卷积刻画了线性移不变系统的运算。
2.（2004-4）计算卷积，写出频域表达式
卷积需要旋转
3.4.3可分离滤波器核

秩为1的核可分离
使用可分离的核的运算次数：MN(m+n),不可分离核的运算次数MNmn。使用可分离核执行卷积运算相对于使用不可分离核执行卷积运算的优势定义为：


MN图像大小，mn卷积核大小。
1.（2022-3）二维滤波器W=

1	2	1
2	4	2
1	2	1

(1)将W分离为两个一维滤波器
(2)对于M*N图像进行空间滤波，分别计算使用二维和一维滤波器的计算量(加
法和乘法的次数)，并说明一维滤波器的优势。

• 一维为2和[1 2 1]
  
• 直接使用二维滤波器的计算量：乘法: 9*M*N 次;加法: 8*M*N 次
  

使用一维分离滤波器的计算量：竖直方向乘法: 3*M*N次;加法: 2*M*N次，水平方向相同，则乘法一共6*M*N次；加法: (4+1)= 5*M*N次(最后结果相加
还有M*N次)
所以，使用一维分离滤波器计算量更少，则计算速度比直接使用二维滤波器更快。
3.4.4空间域滤波和频率域滤波的一些重要比较

空间域处理和频率域处理之间的联系纽带是傅里叶变换。我们利用傅里叶变换从空间域变换到频率域，用傅里叶反变换返回到空间域。
1.卷积是空间域滤波的基础，它等效于频率域中的乘法。反之亦然。
2.空间域中振幅为A的冲激，是频率域中值为A的一个常数。反之亦然。
3.4.5如何构建空间滤波器核

第一种是根据其数学性质。例如计算邻域像素平均值滤波器会模糊图像，计算平均值类似积分。相反，计算图像局部导数的滤波器会锐化图像。
第二种是对形状具有所需性质的二维空间函数进行取样。例如，来自高斯函数的样本可以构建加权平均（低通）滤波器。这些二维空间函数有时候是作为频率域中规定的二维滤波器的傅里叶反变换生成的。
第三种是设计具有规定频率响应的空间滤波器。一维滤波器围绕其中心旋转可以生成一个近似圆对称函数的二维核。
3.5平滑（低通）空间滤波器

平滑（也称平均）空间滤波器用于降低灰度的急剧过渡。
线性空间滤波是指图像与滤波器核进行卷积。
本节讨论可分离盒式核和高斯核的低通滤波器。
3.5.1盒式滤波器核

最简单的可分离低通滤波器核是盒式核，其系数的值相同（通常是1）。
一个大小为m×n的盒式滤波器是元素值为1的一个m×n阵列，其前面有一个归一化的常数，它的值是1除以系数之和（当所有的系数都为1时，这个常数为1/mn。
适用于所有低通核的这个归一化有两个目的：①一个恒定灰度区域的灰度平均值将等于滤波后的图像中的灰度值。②防止在滤波过程中引入偏差，即滤波前后的图像，像素之和是相同的。
因为盒式中所有的行和列都相同，它们的秩为1，意味着它们是可分离的。
Ed4-eg3.11零填充会扩展图像的边界，以避免在滤波期间核的一部分位于图像边界之外时执行未定义的运算。填充零（黑色）后，平滑边界或边界附近的结果是一个灰暗色边框，它是在平均过程中包含黑色像素导致的。
盒式滤波器对透镜模糊特性近似较差，盒式滤波器往往会沿垂直方向模糊图像。
3.5.2低通高斯滤波器核

应用中所选的核通常是圆对称的（也称各向同性），这意味着它们的响应与方向无关。高斯核：






是唯一可分离的圆对称核。


由于高斯核是可分离的，因此可以沿过中心的截面取样，并使用得到的样本得到二维核。


可分离性是圆对称高斯核的许多基本性质之一。在到均值的距离大于3σ的位置，高斯函数的值会小到可以忽略。这意味着如果选择高斯核的大小为


，（取上整数）得到的结果就与使用任意大的高斯核得到的结果相同。
高斯函数的其他两个基本性质是两个高斯函数的乘积和卷积也是高斯函数。
Ed4-eg3.12高斯核必须大于盒式滤波器才能实现同样程度的模糊。
Ed4-eg3.13高斯核产生较为均匀的平滑结果；盒式核的边缘平滑较低。复制填充、镜像填充、零填充的滤波结果。
Ed4-eg3.14核和图像大小对平滑性能的影响给定大小的平滑核产生的相对模糊量直接取决于图像大小。
Ed4-eg3.15使用低通滤波器和阈值处理提取区域
Ed4-eg3.16使用低通滤波器校正阴影
阴影校正（也称为平坦场校正）很重要，因为阴影是造成错误测量、自动图像分析算法性能下降和难以目视解译图像的常见原因。


3.5.3统计排序（非线性）滤波器

见5.3.2
3.6锐化（高通）空间滤波器

图像锐化就是增强图像的边缘或轮廓。
图像平滑通过积分过程使得图像边缘模糊。
图像锐化则通过微分而使图像边缘突出、清晰。
【低频分量消减法】
定义：图像锐化就是要增强图像频谱中的高频部分，就相当于从原图像中减去它的低频分量。
方法一：


方法二：对原图像进行加权，然后减去低通成分


3.6.1基础

数字函数的导数是用差分来定义的。定义这些差分的方法有很多种，但一阶导数的任何定义都要满足如下要求：
①恒定灰度区域的一阶导数必须为零。
②灰度台阶或斜坡开始处的一阶导数必须非零。
③灰度斜坡上的一阶导数必须非零。
类似的，二阶导数的任何定义都要满足如下要求：
①恒定灰度区域的二阶导数必须为零。
②灰度台阶或斜坡开始和结束处的二阶导数必须非零。
③灰度斜坡上的二阶导数必须为零。






3.6.2使用二阶导数锐化图像—拉普拉斯

1.（2007-1-2）拉普拉斯算子①2005-7；
拉普拉斯算子（Laplace Operator）是空间中的一个二阶微分算子，可用于边缘检测和图像锐化。其表示为▽2f(x,y)=f(x+1,y)+f(x-1,y)+ f(x,y+1)+ f(x,y-1)-4f(x,y)。常见算子模板有：


2.（2011-9）（2010-9）（2009-2）证明拉普拉斯算子，即证明一幅离散图像在像素点(x,y)处的二阶导数可以表示为：▽2f(x,y)=f(x+1,y)+f(x-1,y)+ f(x,y+1)+ f(x,y-1)-4f(x,y)
最简单的各向同性导数算子（核）是拉普拉斯，对于两个变量的函数，它定义为：


在x和y方向分别有：




所以可得：




使用拉普拉斯锐化图像的基本方法是：


3.6.3钝化掩蔽和高提升滤波

钝化掩蔽又称非锐化掩蔽。
1.（2019-1-7）（2016-1-6）钝化掩蔽（非锐化掩蔽）实现图像增强的过程及原理？
（2015-6）非锐化掩蔽实现图像增强（锐化）的基本原理是什么？以下面的一维信号（原始信号）作为输入，画出各个中间步骤的结果并辅以文字说明。
（2020-1-3）非锐化掩蔽是什么？写出其基本步骤。
从原图像中减去一幅钝化（平滑后的）图像的过程称为钝化掩蔽。它的步骤有：①模糊原图像。②从原图像减去模糊后的图像（产生的差称为模板）。③将模板与原图像相加。
令


表示模糊后的图像，公式形式的模板为：


然后将加权后的模板与原图像相加：


为不失一般性，包含了一个权值k（k≥0）。k=1时，它是钝化掩蔽；k＞1时这个过程就称之为高提升滤波；k＜1可以减少钝化模板的贡献。


2.（2013-8）（2014-3）用▽2f(x,y)=f(x+1,y)+f(x-1,y)+ f(x,y+1)+ f(x,y-1)-4f(x,y)给出的拉普拉斯变换的定义，证明：将一幅图像f(x,y)减去其相应的拉普拉斯图像等同于对图像做反锐化掩模（也叫非锐化掩蔽）处理。
（2021-1-1）证明从一幅图像中，减去相应的拉普拉斯图像等同于对图像进行反锐化模板处理。
高通滤波后的图像通常较暗，为改善这种情况，将高通滤波器的转移函数加上一常数量以便引入一些低频分量，这样的滤波器叫：高频提升滤波器。
3.6.4使用一阶导数锐化图像——梯度

见10.2.5
【Sobel算子】①2016-2


梯度频繁用于工业检测——要么帮助人们检测产品缺陷，要么作为自动检测中的预处理步骤。
1.（2022-4）用梯度法计算x和y方向的响应。（和滤波计算类似）
3.7低通、高通、带阻和带通滤波器+



3.8组合使用空间增强方法

仔细体会书上的例子。Ed4-p128
1.提出一种将梯度和拉普拉斯算子结合起来的使用方法，从而达到使图像锐化的目的？
使用混合空间增强法，首先使用拉普拉斯法突出图像中的细节，然后用梯度法突出其边缘。具体处理步骤为：使用拉普拉斯突出图像中的小细节得到锐化图像a，用梯度法如sobel算子处理突出图像细节，并对其使用均值滤波平滑处理得到图像b，用a和b相乘得到掩蔽图像，即模板c，将c加到原图上进而得到锐化后的图像。Ed4-p131
Ch4频率域滤波

4.1-4.3 Part1傅里叶的相关知识

1.（2019-1-5）傅里叶算子的基本原理及其优点？（答案类似于往年真题中傅里叶变换在低通滤波器和高通滤波器里面的原理）
傅里叶描述算子通过对目标边界轮廓进行离散傅里叶变换来定量描述图像中目标边界的形状，少数的傅里叶描述子就可以捕获边界的大体特征。
1-1（2014-1-6）傅里叶变换在图像处理中有着广泛的应用。请简述其在图像的高通滤波中的应用目的和实现原理。
图像经过傅里叶变换后，景物的概貌部分集中在低频区域，景物的细节部分集中在高频区域，可以通过图像的高通滤波将图像中景物的细节提取出来。
具体做法是：将傅里叶变换得到的频谱图的低频部分强制为0，而高频部分的信息保持不变，就相当于使用一个只保持高频信息不变而低频信息被完全抑制的高通滤波器作用在原始图像上，将经过这样处理后的频谱进行傅里叶逆变换，就可以得到图像的细节部分。
在用傅里叶描绘子描绘不同区域时，进行傅里叶反变换应保留的区域是低频率点。
1-2（2015-1-4）傅里叶变换在图像处理中有着广泛的应用。请简述其在图像的低通滤波中的应用目的和实现原理。
图像经过傅里叶变换后，景物的概貌部分集中在低频区域，景物的细节部分集中在高频区域，可以通过图像的低通滤波将图像中景物的概貌提取出来。
具体做法是：将傅里叶变换得到的频谱图的高频部分强制为0，而低频部分的信息保持不变，就相当于使用一个只保持低频信息不变而高频信息被完全抑制的低通滤波器作用在原始图像上，将经过这样处理后的频谱进行傅里叶逆变换，就可以得到图像的概貌部分。
2.图像傅里叶变换的意义
①简化运算：空间中复杂的卷积运算→频域中简单的乘积运算。
②简化处理和分析。
③满足频率域的特定应用需求（如在频率域进行图像特征提取，数据压缩，水印嵌入）。
3.（2012-1-7）傅里叶描述子
通过对目标边界轮廓进行离散傅里叶变换来定量地描述图像中目标边界的形状的算子。
4.（2012-3）试证明傅里叶变换的旋转性质：如果图像在空间域旋转θ0角度，其傅里叶变换旋转同样的角度。
5.（Ed4-4.27）证明二维离散傅里叶变换对的下列平移性质成立


证明：由二维离散傅里叶变换（DFT）：


用傅里叶反变换（IDFT）得到f(x,y)：


直接带入所需证明的两个式子至DFT和IDFT的公式中即可得证，证明如下：


6.计算傅里叶变换并说明。①2004-5；②2002-3；
4.4一元函数的离散傅里叶变换/单变量的离散傅里叶变换+

4.5二元函数的傅里叶变换/二变量函数的傅里叶变换+

4.6二维DFT和IDFT的一些性质*

4.7频率域滤波基础+

4.7.3频率域滤波步骤小结

1.（2010-1-4）（2006-1-5）频域滤波基本步骤Ed4-p182
频率域中的滤波步骤是，首先修改一幅图像的傅里叶变换，然后计算其反变换，得到处理后的结果的空间域表示。
其基本步骤为：
①计算原始图像f(x,y)的离散傅里叶变换，得到F（u，v）。
②将频谱F（u，v）的零频点移到频谱图的中心位置。
③计算滤波函数H（u，v）与F（u，v）的乘积G（u，v）。
④将频谱G（u，v）的零频点移到频谱图左上角的位置。
⑤计算第④步计算结果的傅里叶反变换g(x,y)。
⑥取g(x,y)的实部作为最终滤波的结果变换图像。
4.8使用低通频率域滤波器平滑图像

4.8.1理想低通滤波器

1.（2016-1-7）（2019-1-3）使用理想低通滤波器平滑图像时，其截止频率选择不当就会产生振铃效应。试着从原理上面解释振铃效应产生的原因？
ILPF的模糊和振铃性质可以用卷积定理来解释。
理想低通滤波器的传递函数为：


其径向横截面为：


其对应的空间域滤波器的形状如下，类似sinc函数。


频率域上相乘相当于空间域上做卷积，因此，图像经过理想低通滤波器后时域上相当于原始图像与sinc函数卷积。由于sinc函数振荡，则卷积后的函数两侧出现过冲现象且能量不集中，从而产生振铃效应。
因为sinc函数的“展开度”与H（u，v）的半径成反比，当D0越大，这个空间函数越接近一个与图像卷积时不会导致模糊的冲激。
中心波瓣是引起图像模糊的主要原因，而外侧小波瓣是造成振铃的主要原因。
4.8.2高斯低通滤波器

1.（2006-10）（Ed4-4.48）在连续频率域中，一个连续高斯低通滤波器的传递函数为：


证明连续空间域中对应的滤波器的核是：


答：我们想要证明


如果我们从一个变量开始，解释就会更清楚。我们想要证明，如果




我们可以将上述方程中的积分表示为


又因为


在前面的积分中


然后我们进行变量代换


，则


。则上述积分


方程右边边提出并除去


得到


括号内的表达式为高斯概率密度函数，其值从负无穷到正无穷为1。


则


通过傅里叶逆变换的定义我们得到


括号内的函数为高斯概率密度函数，其等价于


，则


我们把剩余的部分等价于


则




2.2004-10


3.（2003-2-3）设某一线性移不变系统的冲激响应为中心在原点，幅值为2,标准差为3的高斯函数，另有一线性移不变系统冲激响应为


如果需要降低信号的噪声，需要选择哪个冲激响应，如果需要锐化边缘，需要选择哪一个?为什么?
降低信号噪音用前者，因为高斯函数具有平滑作用;锐化边缘用后者，由于该冲激函数相当于用原图像的2倍减去用高斯函数模糊后的图像，从而起到提升高频成分的作用。
4.（2021-1-6）请解释高斯低通滤波器为什么不会产生振铃现象
利用傅里叶变换可知，若频率域函数有陡峭变化，则傅里叶变换得到的空间域函数会在外围出现振荡。而高斯函数的傅里叶变换仍然是高斯函数，故其不会产生振铃效应。
4.9使用高通滤波器锐化图像

4.9.4同态滤波

1.（2014-1-9）同态滤波的主要目的是消除不均匀照度的影响而又不损失图像细节。请描述其实现依据和基本流程。Ed4-p202
（2016-1-9）图像的同态滤波主要是为了解决什么问题？其实现过程包括哪些步骤？同态滤波的主要目的是消除不均匀照度的影响而又不损失图像细节
（2020-1-7）同态滤波的作用和基本过程
实现依据：一幅图像f(x,y)可以表示为其反射分量r(x,y)和照射分量i(x,y)的乘积。i(x,y)变化缓慢，在频域中表现为低频；r(x,y)包含目标物细节，在频域表现为高频。因此只要我们从f(x,y)中把i(x,y)和r(x,y)分开并分别采取压缩低频提升高频的方法，就可以达到减弱照射分量、增强反射分量，使图像清晰的目的。
基本流程：
①


②对等式两边同时取对数变换得：


③对其做傅里叶变换得：


或


④用滤波器传递函数H（u，v）对Z（u，v）滤波，有：


⑤上式两边同时进行傅里叶反变换到空间域得到：








可见增强后得图像是由对于照射分量与反射分量两部分叠加形成的。
⑥再将上式两边进行指数运算得到：


总之，同态滤波步骤如下图：


同态滤波器可以同时实现动态范围压缩和对比度增强。
【补充】关于H（u，v）
使用同态滤波可以更好地控制照射分量和反射分量。这种控制要求规定滤波器传递函数H（u，v），以便不同的控制方法来影响傅里叶变换的低频和高频分量。
下图显示了一个函数的剖面，若γL＜1且γH＞1则这个滤波器将衰减低频（照射）的贡献而放大高频（反射）的贡献，最终结果是同时进行动态范围的压缩和对比度的增强。


如图所示函数的形状可以通过高通滤波器传递函数来近似，例如采用形式上稍有变化的GHPF函数可以得到同态函数：


其中D（u，v）是频率域中点（u，v）到P×Q频率矩形中心的距离，即：


在γL和γH之间过渡的常数c控制函数的偏斜度。这个滤波器传递函数类似高频强调函数。
4.10选择性滤波

前两节讨论的滤波器在整个频率矩形上操作。在很多应用中，其兴趣是处理指定的频段或频率矩形的小区域。
第一类滤波器分别称为带阻滤波器或带通滤波器。
第二类滤波器称为陷波滤波器。
Ed4-p207使用陷波滤波减少莫尔(波纹)模式、去除周期干扰。
4.11快速傅里叶变换+

二维DFT的可分离性：


f(x,y)的二维DFT可通过计算f(x,y)的每一行的一维变换，然后沿着计算结果的每一列计算一维变换来得到。
Ch5图像复原与重建

5.1图像退化/复原处理的一个模型

1.什么是图像退化？
图像的退化是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量下降(变坏)。
2.图像退化的表现？
其典型表现为:模糊、失真、有噪声。
3.图像退化的产生原因？
成像系统像差、传感器拍摄姿态和扫描非线性、成像设备与物体运动的相对运动、大气湍流、成像和处理过程中引入的噪声等。
4.（2014-9）请给出图像退化过程的数学模型表达式并分析图像退化的原因，进而说明图像复原的基本原理。Ed4-p220
（2015-1-8）（2016-7）请给出图像退化过程的数学模型表达式并说明图像复原的基本原理。

• 图像退化过程的数学模型如下:
  

其中退化函数H，加性噪声η(x,y)。
若H是一个线性位置不变算子，则空间中的退化图像为：
g(x,y)=h(x,y)*f(x,y)+η(x,y)
其中*表示卷积。
在频率域中的等效公式为：
G(u，v)=H(u，v)F(u，v)+N(u，v)
2)图像退化的原因：成像系统像差、传感器拍摄姿态和扫描非线性、运动模糊、灰度失真、大气湍流、成像和处理过程中引入的噪声等。
3）图像复原的基本原理：找退化原因→建立退化模型→反向推演→恢复图像。
5.2噪声模型



1（2005-1-5）噪声
在图像上出现的一些随机的、离散的和孤立的不协调像素点称为图像噪声，图像噪声在视觉上通常与它们相邻的像素明显不同。表现形式为在较黑区域上的随机白点或较白区域上的随机黑点，明显影响图像的视觉效果。
5.3只存在噪声的复原—空间滤波

当一幅图像仅被加性噪声退化时，可以空间滤波器来复原图像。
5.3.1均值滤波器；5.3.2统计排序滤波器

一、均值滤波器
【算数均值滤波器】


会降低图像中的噪声，但会模糊图像。
【几何均值滤波器】


平滑效果和算数平均滤波器相当，但损失的图像细节更少。
【谐波平均滤波器】


既能处理盐粒噪声，又能处理类似高斯噪声的其他噪声，但是不能处理胡椒噪声。
【反谐波平均滤波器】/逆谐波


Q称为滤波器的阶数，Q为正时消除胡椒噪声，Q为负时消除盐粒噪声。Q=0时→算数平均滤波器，Q=-1时→谐波平均滤波器。
二、统计排序滤波器
【中值滤波器】


用一个预定义的像素邻域中的灰度中值来代替像素的值。
【最大值和最小值滤波器】




【中点滤波器】


中点滤波器计算滤波器包围区域中最大值和最小值之间的中点的值。
【修正阿尔法均值滤波器】
假设我们要在邻域Sxy内删除g（r，c）的d/2个最低灰度值和d/2个最高灰度值。令gR（r，c）表示Sxy剩下的mn-d个像素。通过这些剩余像素所形成的滤波器称之为修正阿尔法均值滤波器。


式中d的取值范围是从0到mn-1。d=0时则为算术平均滤波器；d=mn-1则变为中值滤波器。D取其他值时，修正阿尔法均值滤波器适合处理多种混合噪声，如高斯噪声和椒盐噪声。
使用统计排序滤波器降噪
1.（2018-1-1）中值、均值滤波对高斯和椒盐噪声的处理哪个好？为什么？
（2013-1-5）中值滤波器的原理是什么？请分别分析中值滤波器对椒盐噪声和高斯噪声的滤波效果。
（2014-1-2）对于椒盐噪声，为什么中值滤波效果比均值滤波效果好？
（2016-1-4）对于椒盐噪声，中值滤波与均值滤波相比哪个滤波效果好？为什么？
（2020-1-1）简述中值滤波对于脉冲噪声和高斯噪声的处理效果。
中值滤波器的原理是：在图像中，对待处理的像素给定一个模板，该模板包括了周围邻近像素，取模板中排在中间位置上的像素的灰度值替代处理像素的值，就可以达到滤除噪声的目的。
中值滤波器对椒盐噪声的滤波效果较好，椒盐噪声是幅值近似相等但随机分布在不同位置上，图像中有干净点也有污染点，使用中值滤波时，被污染的点一般不处于中值的位置，即选择适当的点来代替污染点的值，所以处理效果好。而且椒盐噪声的均值不为0，所以用均值滤波处理椒盐噪声效果不好。
中值滤波器对高斯噪声的处理效果不好，高斯噪声幅值近似正态分布，但分布在每个像素上，找不到干净的点来替代被污染的点，所以效果不好。
2.（2018-1-8）[M幅图像叠加求平均]和[在n×n区域进行平均]的各自的优缺点。
将M幅图像叠加求平均利用了M幅图像中同一个位置的M个像素的平均值，用一个n×n的模板进行平滑滤波利用了同一幅图像中的n×n个像素的平均值。因为参与的像素越多，滤除噪声的能量越强，所以如果M＞n×n，则前者消除噪声的效果越好，反之后者更好。
3.（2009-1-6）最小值滤波①2018-2；②2008-4、2012-4、2014-2；
若对邻域进行从小到大排序，选择起始值代替被处理点的像素的值的滤波器称为最小值滤波器。其表达式为：


这种滤波器对于发现图中的最暗点非常有用，可以降低盐粒噪声。
4.用算数均值滤波器滤波+二维滤波可分成两个一维滤波器是哪两个？有什么好处？好处：提高效率①2011-8、2014-5、2008-2、2012-2；②2018-3；③2004-9；
5.用最大值滤波并说明适合哪种类型的噪声。①2013-6、2010-3；
6.用中值滤波并说明适合哪种类型的噪声。①2009-4；②2007-2；
7.均值滤波和中值滤波计算。①2013-9；
8.用几种均值滤波器对条纹图像滤波计算。①2014-8、2020-2-1，Ed4-5.1；
下图中的白条为7像素宽，210像素高。分离的两条线之间有17个像素。这个图像在完成下列处理后会是什么样子？

• 3x3算术平均滤波器？
  
• 7x7算术平均滤波器？
  
• 9x9算术平均数过滤器？
  

9.滤除亮点计算。①2015-4；②2021-2；①2011-2；
10.用均值、最小值、中值滤波器进行计算。①2015-5
11.（2006-8）已知逆谐波均值滤波器的表达式为：


其中Sxy表示8邻域的区域，参数Q称为滤波器的阶数。现用它对含有胡椒噪声的图像进行滤波，请问Q应当选择正值还是负值，并说明你选择的理由。（胡椒噪声在图像中表现为亮度低于它邻域像素亮度。
参数Q应该选择正值，在逆谐波均值滤波器中，通过Q值的变化，从而获得滤波的效果。当Q为正值时，此滤波去除胡椒噪声；当Q为负值时，去除盐粒噪声。但不能同时滤除椒盐噪声，因为Q在一次处理中是确定的值。
12.（2020-1-5）用两种方法改进均值滤波器，使之去噪的同时还能尽可能保留边缘和细节（无参考答案）
①加权均值滤波器：采用局部阈值优化的方法计算各像素点的权值,将滤波窗口各像素点的灰度值与对应的权值进行加权运算,结果作为窗口中心点的滤波输出。该改进算法对脉冲噪声和高斯噪声具有较强的去噪能力,且较好地保持了图像的细节。
②针对普通均值滤波器边缘信息会丢失的问题提出了一种改进的均值滤波器： 首先设定一个阈值，当中心像素点的像素值与平均值差的绝对值大于阈值的时候才做滤波处理。这样既可以对噪声进行平滑，图像细节上的损失也很小。
5.3.3自适应滤波器

一、自适应局部降噪滤波器Ed4-p233
在整体降噪方面，自适应滤波器的滤波效果类似于算术平均滤波器和几何均值滤波器，但使用自适应滤波器滤波后的图像要清晰的多。
1.（2016-9）请利用局部均值和方差作为统计度量，设计一种自适应局部降低噪声滤波器(只需要写出思路即可)。
滤波器对中心为(x,y)的一个领域Sxy操作。滤波器在(x,y)的响应根据如下量给出：
①噪声图像在(x,y)处的值g(x,y)；
②噪声的方差


；
③Sxy中像素的局部平均灰度


；
④Sxy中像素灰度的局部方差


；
我们希望该滤波器具有如下性能：
①若


为0，则滤波器仅返回(x,y)处的值g。因为噪声为0时，(x,y)处的g=f。
②若局部方差


和


高度相关，则滤波器返回(x,y)处的一个接近于g的值。高局部方差通常与边缘相关，且应保留这些边缘。
③若两个方差相等，则希望滤波器返回Sxy中像素的算数平均值。当局部区域的性质与整个图像的性质相同时会出现这个条件，且平均运算会降低局部噪声。
满足以上三个假设可以得到自适应滤波器表达式：


唯一需要事先知道的是被污染图像f(x,y)的方差


。其他参数均可由Sxy计算得到。


未知且使用的估值太低时，算法会因为校正量小于应有的值而返回与原图像非常接近的图像。估计值太高会使得方差的比率在1.0处被削平，与正常情况相比，算法会更频繁地从图像中减去平均值。若允许为负值，且最后重新标定图像，结果将损失图像的动态范围。
二、自适应中值滤波器
在噪声密度不是很大的情况下（根据经验，噪声的出现的概率小于0.2），使用中值滤波的效果不错。但是当噪声出现的概率比较高时，原来的中值滤波算法就不是很有效了。只有增大滤波器窗口尺寸，尽管会使图像变得模糊。
使用自适应中值滤波器的目的就是，根据预设好的条件，动态地改变中值滤波器的窗口尺寸，以同时兼顾去噪声作用和保护细节的效果。下面是自适应中值滤波器算法的详细描述：
预先定义好以下符号：


自适应中值滤波器分为以下两个过程，A和B：




在自适应中值滤波算法中，A步骤里面会先判断是否满足Zmin<Zmed<Zmax。这一步骤实质是判断当前区域的中值点是否是噪声点，通常来说是满足Zmin<Zmed<Zmax这个条件的，此时中值点不是噪声点，跳转到B；考虑一些特殊情况，如果Zmed=Zmin或者Zmed=Zmax，则认为是噪声点，应该扩大窗口尺寸，在一个更大的范围内寻找一个合适的非噪声点，随后再跳转到B，否则输出的中值点是噪声点；
接下来考虑跳转到B之后的情况：判断中心点的像素值是否是噪声点，判断条件为Zmin<Zxy<Zmax，原理同上，因为如果Zxy=Zmin或者Zxy=ZmaxZxy=Zmax，则认为是噪声点。如果不是噪声点，我们可以保留当前像素点的灰度值；如果是噪声点，则使用中值替代原始灰度值，滤去噪声。
5.4使用频率域滤波降低周期噪声+

周期噪声的参数通常是通过检测图像的傅立叶谱来估计的，周期噪声通常会产生能通过视觉分析检测到的频谱尖峰。另一种方法是直接根据图像推出噪声分量的周期性。
5.4.1陷波滤波器深入介绍



Ed4-例5.6：由于我们能精确定位这些冲激的位置，因此消除它们非常简单，使用一个陷波滤波器函数对图像滤波即可，但陷波滤波器函数的陷波要与冲激的位置重合。






5.4.2最优陷波滤波器

这种滤波方法如下：首先分离干扰模式的各个主要贡献，然后从被污染图像中减去该模式的一个可变加权部分。
1.（2022-7）用频域滤波方法去除横向周期干扰。
该题是新题，由于题目说的是用频域的方法消除横向周期干扰，这里就不能用移动平均阈值法，学长当时想的是用陷波器。可以联想到工频干扰，因为它也是类似横向周期干扰，我们在工业中最常用的就是用陷波器消除工频干扰，其步骤为先把信号转换到频域，然后根据周期干扰确定干扰的频率，最后设计对应的陷波器即可。(当然肯定也有别的方法，这种题基本.上思路对了80%的分就有了)
5.5线性位置不变退化+



图中的输入输出关系可以表示为g(x, y)=H[f(x, y)]+η(x, y)
当η(x, y)=0，则g(x, y)=H[f(x, y)]
若H[af((x, y)+bf2(x, y)]=aH [f(x, y) +bH[ f,(x, y)]，则H是线性的。
若


，则H是位置（空间）不变的。
既满足线性、又满足移不变条件的系统是线性移不变系统。
带有加性噪声的线性空间不变退化系统可在空间域中建模为图像与该系统的退化函数的卷积，并加上噪声。根据卷积定理频率域中的这一过程，为图像的变换和退化函数的变换的乘积加上噪声的变换。即：




1.线性移不变系统输出表达式、锐化/平滑？①2005-9；
5.6估计退化函数*

5.7逆滤波/反滤波

1.（2021-1-7）（期末考试）请根据逆滤波的原理，解释为什么图像存在噪声时，一般不能采用全滤波。试用逆滤波原理说明并给出正确的处理方法。
复原由退化函数退化的图像最直接的方法是直接逆滤波。在该方法中，用退化函数除退化图像的傅里叶变换来计算原始图像的傅里叶变换。




由上式可以看到，即使我们知道退化函数也可能无法准确复原未退化的图像。因为噪声是一个随机函数，其傅氏变换未知。当退化为0或者非常小的值，


很容易决定


的值。一种解决该问题的方法实现值滤波的频率限制到接近原点值。
2.逆滤波步骤






通过上面的傅里叶逆变换得到的复原图像。
5.8最小均方误差（维纳）滤波+

维纳滤波器的本质是使估计误差均方值最小。
估计误差定义为期望响应与滤波器实际输出之差。
化该方法建立在图像和噪声都是随机变量的基础上，目标是找到未污染图像f的一个估计，使它们之间的均方误差最小。这种误差度量由下式给出:


维纳滤波器在图像复原过程中需要计算噪声功率谱和图像功率谱。
逆滤波没有说明怎样处理噪声，维纳滤波综合考虑退化函数和噪声统计特征。
5.9约束最小二乘方滤波+

在约束最小二乘法复原问题中,令p为f的线性算子,要设法寻找一个最优估计 ,使形式为


的、服从约束条件


的函数最小化。
利用拉格朗日函数，即要使得准则函数


最小。
这个最优问题在频率域中的解为：


γ是一个参数，P（u，v）是如下函数的傅里叶变换


约束最小二乘方滤波在高噪声和中噪声的情况下得到更好与维纳滤波的结果，在低噪声的情况下两个滤波器产生的结果基本相同。
5.10几何均值滤波

对维纳滤波器稍加推广，这种推广就是所谓的几何均值滤波器的形式:


其中，α和β是正的实常数。几何均值滤波器由两个括号内的幂次分别为α和1-α的表达式组成。
当α=1时，该滤波器退化为逆滤波器;
当α=0时，该滤波器变为所谓的参数维纳滤波器，参数维纳滤波器在β= 1时还原为标准的维纳滤波器。
如果α= 1/2，则滤波器变成相同幂次的两个量的积，这是几何均值的定义，这样就给出了这种滤波器的命名。
Ch6彩色图像处理

6.1彩色基础

1.（2018-1-3）彩色量化级数小会怎样？为什么？
如果量化级数小则图像质量差、容易出现伪轮廓线性，量化级数最小的极端情况就是二值图像。
这是因为量化过程是将连续变化的颜色划分到有限个级别中，这必然会导致颜色信息的损失。当量化级别达到一定数量时，人眼感觉不到颜色信息的丢失；当量化级数过小时，图像灰度分辨率就会降低，颜色层次就欠丰富，不同颜色之间的过渡就会变得突兀，可能会导致伪轮廓现象。
6.2彩色模型

1.常用的彩色模型及其特点？（如RGB\HSI\CMY\CMYK）
（2015-1-7）写出常用的彩色模型及其应用场合。
①RGB：使用三种颜色R,G,B来描述颜色的彩色模型。该模型面向硬件，针对彩色显示器和彩色摄像机。计算机显示器主要采用RGB彩色模型。
②HSI：该模型使用色调、饱和度、亮度这三种更符合人描述和解释颜色的方式，能够解除图像中颜色和灰度级信息的联系，多用于图像处理和识别、彩色动画图形创作等。
③CMY(青色、深红色、黄色)和CMYK（青色、深红色、黄色、黑色）：针对彩色打印开发的，青色、深红色、黄色是二次色，是颜料的原色。
2.（2013-1-3）在彩色图像处理中，使用HSI模型有什么好处？
（2014-1-3）在彩色图像处理中常用HSI模型，它适于做图像处理的原因有哪些？
HSI为色调、饱和度、亮度的彩色模型，具有一下两个优点：
①HSI模型可在彩色图像中从携带的彩色信息(色调和饱和度)中消去亮度分量的影响，其中亮度分量与彩色信息是分开的。
②色调H和饱和度S的概念和人感受颜色的方式是密切相关的。
由①②两个优点使得HSI模型非常适合借助人的视觉系统来感知彩色特性的图像处理算法。
3.（2021-1-4）一幅RGB格式的彩色图像，在R通道加入噪声，对其在HSI空间的信号有何影响。
在仅有一个RGB通道受到影响的情况下，因为HSI分量的计算会用到RGB的所有分量，所以RGB到HSI的转换会将噪声扩散到所有的HSI分量图像。同时，亮度分量要更平滑一些，是由亮度图像是RGB图像的平均造成的。
4. 对比分析RGB和HSI实现亮度增强的步骤和效果
使用RGB模型实现亮度增强的步骤为：先把RGB图像分离成R,G,B通道的
三个分量，然后分别对三幅图像实现亮度增强(可用对数变换，线性变换等)，最后将三幅图像合成为-幅彩色图像，但这种方法会改变原彩色图像的颜色种类，使图像彩色失真，其效果不是很理想。
在HSI颜色坐标中，H和S分别表示颜色的色度和饱和度，这两者与颜色的种类密切相关。I表示亮度，与颜色种类无关，为了不改变彩色种类，可仅对I进行处理;最后合成HSI图像，效果非常明显。且不会造成失真等问题。
彩色光源的基本量：发光的强度、光通量、亮度。
5.模型转换




6.3伪/假彩色图像处理

1.（2013-1-8）为什么伪彩色处理可以达到对灰度图像的增强效果？
伪彩色处理将灰度图像或者单色图像的各个灰度级匹配到彩色空间中的一点，从而使单色图像映射成彩色图像。由于人眼对色彩的分辨能力远远大于对黑白灰度的分辨率，通过使用彩色可以增加人类所能辨识的目标种类、对彩色图像的细节能了解得更清楚，从而达到图像增强的效果。
2.（2016-1-7）假彩色增强和伪彩色增强的区别是什么？
假彩色增强和伪彩色增强的区别在于处理对象的不同。
伪彩色增强是把一幅黑白域不同灰度级映射为一幅彩色图像，而假彩色增强则是对一幅彩色图像进行不同的彩色处理得到与原图像不同的彩色图像。
相同点都是利用人眼对彩色的分辨力要大于对灰度的分辨力，将目标用人眼敏感的颜色表示。
6.3.1灰度分层和彩色编码 6.3.2灰度到彩色的变换

1.（2015-1-5）伪彩色图像增强中产生伪彩色的两种常用方法是强度分层法和空间域灰度级-彩色变换法。请简单说明这两种方法各自原理及优缺点。Ed4-p293
1）强度分层法/灰度分层/密度分层：它是将灰度图像中任意一点的灰度值看作该点的密度函数。
原理：用平行于坐标平面的平面序列L1,L2,…,LN把密度函数分割为N个互相分隔的灰度区间，并给每一区域分配一种颜色，这样就将一幅灰度图像映射为彩色图像了。
优点：简单易行、直观，仅用硬件就可实现。
缺点：所得伪彩色图像彩色生硬、彩色数目有限，且量化噪声（分割误差）大。密度分层级数越大，图像分辨率越高，量化噪声越小。
2）灰度级-彩色变换法：它是对图像中的每个像素点的灰度值采用不同的变换函数进行三个独立的变换并将结果映射为彩色图像的RGB分量值，由此就可以得到一幅RGB空间上的彩色图像。
优点：所得图像是多种颜色渐变的连续彩色图像，更加具有层次感，变换后的视觉效果更好。
缺点：这种方法虽然能使黑白转化为彩色，但是这种彩色并不是真正表现图像的原始颜色而仅仅是一种便于识别的伪彩色。
补充3）频率滤波法：首先对原始灰度图像进行傅里叶变换，然后用3种不同的滤波器对得到的频率（谱）图像进行独立的滤波处理，处理完之后再用傅里叶逆变换得到三种不同频率的图像。这三幅图像映射为单色图像，经过一定的后处理，最后把这三幅灰度图像分别映射为彩色图像的RGB分量，这样就得到一幅RGB空间上的彩色图像。
6.4全彩色图像处理基础

全彩色图像处理方法有两种：
第一种方法是首先分别处理每幅灰度级分量图像，然后将处理后的各幅图像合成为一幅彩色图像。
第二种方法是直接处理彩色像素，因为全彩色图像至少有三个分量，因此彩色像素是向量。
6.5彩色变换

6.5.5彩色图像的直方图处理

1.怎么对彩色图像进行直方图均衡化？
对彩色图像的各幅分量图像单独进行直方图均衡化并不明智，会产生错误的彩色。彩色图像的直方图均衡方法是：均匀地分布亮度，而保持颜色本身（即色调）不变。根据这一方法原理，一般是在HSI坐标内进行彩色图像地均衡化，若是RGB坐标则先转化为HSI坐标，对I处理完后再转回RGB坐标。
彩色图像增强时，加权均值滤波可以采用RGB彩色模型。直方图均衡化、同态滤波、中值滤波均不合适。
2.计算机中如何实现彩色直方图的匹配

• 计算机中应用的彩色模型是RGB模型，因此，对要处理的彩色图像应用转换公式将RGB模型转换为HSI模型，分离出强度和颜色分量;
  
• 其次，对强度图首先进行直方图均衡化;
  
• 然后，对要匹配的直方图同样进行直方图均衡化;
  
• 对均衡化后的直方图在计算机中进行查表对应，从而将(2)中的强度图按照(3)中的直方图进行匹配进行分配;
  
• 对重新分配后的强化图加入颜色信息，恢复出彩色图像。
  

6.6彩色图像平滑和锐化

平滑原则：在彩色图像邻域中对分量向量做均值处理。
锐化：向量的拉普拉斯微分算子：对输入向量的独立标量分量的拉普拉斯微分。


6.7使用彩色分割图像

6.7.1 HSI彩色空间中的分割

饱和度被用做一副模板图像，以进一步隔离色调图像中的感兴趣区域。
由于灰度图像不携带颜色信息，因此很少在彩色图像的分割中使用。
6.7.2 RGB彩色空间中的分割

假设我们的目的是分割一幅RGB图像中的某些规定颜色的目标。
已知一组代表感兴趣颜色的彩色样本点，我们希望得到带分割的“平均”颜色的一个估计，假设用RGB向量a来表示，这个平均颜色分割的目的是给定图像中的每个RGB像素分类，即判断它是否具有规定范围中的一种颜色。
6.7.3彩色边缘检测

首先计算各幅图像的梯度然后将结果合成一幅彩色图像会得到错误的结果。










方向变化率：


6.8彩色图像中的噪声

在每个彩色通道中通常具有相同的特性，但是噪声对不同彩色通道的影响可能不一样。
只有一个RGB通道受噪声影响时，到HIS的转换会将噪声分布到所有HIS分量图像上。
6.9彩色图像压缩

由于彩色所需比特数要比灰度级所需比特数大3到4倍，因此数据压缩在彩色存储和传输中非常重要。
Ch7小波变换和其他图像变换+

7.1-7.4*

7.5基图像+



F是二维图像，Suv是基图像。


7.6傅里叶相关的变换+

7.6.1离散哈特利变换

7.6.2离散余弦变换

1.（2021-1-8）简述离散余弦变换DCT图像编码的基本思想与主要步骤。
DCT是实的、正交的、偶延拓的。
DCT变换的基本思路是将图像分解为8×8的子块或16×16的子块，并对每一个子块进行单独的DCT变换，然后对变换结果进行量化、编码。随着子块尺寸的增加，算法的复杂度急剧上升，因此，实用中通常采用8×8的子块进行变换，但采用较大的子块可以明显减少图像分块效应。
离散余弦变换(DCT)编码属于正交变换编码方式，用于去除图像数据的空间
冗余。其通过傅里叶变换，将时域信号变换到频域中。图像经过DCT变换以后，DCT系数之间的相关性就会变小，而且大部分能量集中在少数的系数上,从而到达压缩的目的。
步骤:在编码过程中，首先将输入图像分解为8x8大小的数据块，然后用正向二维DCT把每个块转变成64个DCT系数值，接下来对DCT系数进行量化，最后将变换得到的量化的DCT系数进行编码和传送。
DCT变换具有如下优点：用单片集成电路就可以实现，可将最多信息装入最少的系数中，并且在子图像间的边界变得可见时，可使出现的称为块缺陷的块效应最小化。DCT在信息携带能力和计算复杂性之间提供了较好的折中。
7.6.3离散正弦变换

7.7沃尔什-哈达玛变换+

沃尔什-哈达玛变换（WHT）是非正弦变换，将函数分解为矩形基函数(沃尔什函数值为+1和-1)的线性组合。哈达玛排序(也称自然排序)。变换矩阵中基函数的排序决定正在计算的变换的变体。
二阶哈达玛排序变换矩阵：


用HN表示N阶哈达玛矩阵，生成哈达玛排序变换矩阵的一个简单递推变换关系是：


于是有：












7.8斜变换+

斜变换适于灰度逐渐改变的图像信号，已成功用于图像编码。
基本思想:根据图像信号的相关性，某行的亮度具有基本不变或线性渐变的特点,可以编造一个变换矩阵,来反映这种递增或递减(线性渐变)特性的行向量。
斜矩阵：




7.9哈尔变换+

哈尔（Harr）函数是一种正交归一化函数,可以用在在图像信息压缩和特
征编码等方面，特点是收敛均匀而迅速。
哈尔变换矩阵的一个重要性质是它可以分解为多个矩阵的乘积，这些矩阵中的非零项与原矩阵相比更少。可以由矩阵因子分解法迅速得到哈尔变换。
7.10小波变换+

1.（2022-1-5）傅里叶变换和小波变换的优缺点
傅里叶变换优点:频率的定位很好，通过对信号的频率分辨率很好，可以清
晰的得到信号所包含的频率成分，也就是频谱。且计算速度较快更方便。
缺点:因为频谱是时间从负无穷到正无穷的叠加，所以，知道某一频率，不能判断，该频率的时间定位。不能判断某一时间段的频率成分。且因为有使用窗函数，存在严重的块效应问题。
小波变换优点:小波变换具有的高低频分离的特点，可在不丢失原信号重要信息成分的前提下，将原光谱信号的边缘部分进行滤化处理，消除了噪音信息，重构出更加清晰的光谱特征图形，从而提高了信号的清晰度,为信号的预处理提供了更加方便的条件。与傅氏变换相比较，小波变换的优势在于，对分析信号可进行任意的放大平移并对其特征进行提取。对复杂信号作小波变换，进行多分辨率分析，在信号图象分析领域已占据着相当重要的地位。
缺点:小波变换冗余度较大，计算量也很大。
Ch8图像水印和压缩

8.1基础

1.（2004-1-5）有失真压缩
由于包含近似,不能精确重构原图像的任何图像压缩技术。
2.（2003-2-1）进行图像数据压缩的依据是什么?说出有失真编码和无失真编码的区别，并各举一种典型编码方法进行说明。
进行图像压缩就是消除图像的冗余和不相于信息。无失真编码仅仅压缩了冗余信息，要求编码后码字长度不小于熵，如行程编码，LZW编码;限失真编码把不相干的信息也删除了，因此只能对原图像进行近似重构，而不是精确的复原。
无失真编码是指压缩图像经解压可以恢复原图像，没有任何信息损失的编码技术。
有损压缩：利用人对图像或声波中某些频率成分不敏感的特性，允许压缩过程中损失一定的信息。虽然不能完全恢复原始的数据，但损失的部分对理解原始图像的影响换来了大得多的压缩比。
8.1.4度量图像信息

1.（2002-1-4）熵
熵就是信息量的数学期望即平均信息量，为


一幅灰度级均匀分布的图像，其灰度范围在[0,255），该图像的信息量为：8。
8.2霍夫曼编码+





1.（2004-8）计算压缩比、冗余量


8.3 Golomb编码*

8.4算术编码+

算术编码，是图像压缩的主要算法之一。是一种无损数据压缩方法，也是一种熵编码的方法。
和其它熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足(0.0≤n < 1.0)的小数n。




8.5 LZW编码+

LZW就是通过建立一个字符串表，用较短的代码来表示较长的字符串来实现压缩。
字符串和编码的对应关系是在压缩过程中动态生成的，并且隐含在压缩数据中，解压的时候根据表来进行恢复，算是一种无损压缩。
8.6行程编码*

8.7基于符号的编码*

8.8比特平面编码*

8.9块变换编码+

块变换编码，是指将图像分成若干个块，对每一块经过数学转换后映射至另一值域后再进行编码处理，是属于变换编码的一种。因为经常与量化一起使用，属于有损数据压缩。
8.10预测编码+

预测编码是根据离散信号之间存在着一定关联性的特点，利用前面一个或多个信号预测下一个信号进行，然后对实际值和预测值的差（预测误差）进行编码。
如果预测比较准确，误差就会很小。在同等精度要求的条件下，就可以用比较少的比特进行编码，达到压缩数据的目的。
8.11小波编码+

小波变换(Wavelet Transfom)编码是数字地球的最有发展前途的数据压缩方法。小波分析优于傅立叶分析的方面是:它的时间域或频率域同时具有良好的局部化性质，而且由于对高频成分采用逐渐精细的时域或空域取样步长，从而可以聚集到对象任意细节，所以它称为"数字显微镜"。
在空间域里，小波分解将信号分解为不同层次分解运算的同时形成了频率域中的多层次分解。在频率域中的每个层次上，高频分量与低频分量的分布与原数据中频率分布的方向有关。利用小波变换对图像进行压缩的原理与子带编码方法一样，是将原图像信号分解成不同的频率区域，持续的压缩编码方法根据人的视觉、图像的统计、细节和结构等特性，对不同的频率区域采取不同的压缩编码手段，从而使数据量减少。
1.（2022-1-7）什么是压缩率？请简述针对灰度图像的JPEG压缩过程。
压缩率指的是描述压缩文件的效果名，是文件压缩后的大小与压缩前的大小
之比。
JPEG压缩过程：
1）颜色模式转换及采样;
2）DCT 变换(量化离散余弦变换);
3）量化;
4）编码(图像块变换编码，霍夫曼编码，行程编码等)。
JPEG:即联合图像专家组，是用于连续色调静态图像压缩的种标准，是最常用的图像文件格式。属于有损压缩格式。
2.简述JPEG压缩过程，并说明压缩的有关步骤中分布减少了哪种冗余？
分块→颜色空间转换→零偏置转换→DCT变换→量化→符号编码。
颜色空间转换减少了心理视觉冗余。
零偏置转换减少了编码冗余。
量化减少了心理视觉冗余。
符号编码由于是霍夫曼编码加行程编码，因此减少了编码冗余（霍夫曼编码），又减少了像素冗余（行程编码）。
综合

[一]编码技术及对应消除的冗余类型(简答题)
霍夫曼编码:称块编码，每个信号源都映射到了一个编码符号的固定序列。消除编码冗余。
算术编码:非块编码，没有映射到固定序列。消除编码冗余。(注意如何计算)
LZW编码:构建字典，根据字典查询编码并解码。消除编码冗余和解决空间冗余问题。
行程编码:行(列)重复灰度的图像可按其相同灰度的行程对来压缩。解决空间冗余。
块变换编码:根据信息是否重要进行删除。将图像分割成大小相等不重叠的小块，二维变换独立处理，用可逆线性变换(傅里叶变化)将子块映射变换系数集合，再量化，编码(对应教材流程图记背)。
预测编码:消除时间和空间冗余。预测实质是比较做差，通过误差存在时，有无取整判断是否有损。
小波编码: 一个固定基源的小波能够探测到目标信号中是否含有某类信号。 小波不相关时，没有空间冗余，通过小波提出某类信号，再解码还原回去。
Ch9形态学图像处理

9.1预备知识*

目标元素和结构元（SE）


反射是将SE相对于其原点旋转180°，包括背景和不关心元素在内的所有元素都被旋转。




平移：


反射和平移都是相对于B的原点定义的。
结构元的用法类似空间卷积，但是腐蚀和膨胀是以集合为基础的，为非线性运算；而卷积是乘积求和，是线性运算。
9.2腐蚀和膨胀

1.腐蚀①2019-5；


全同则腐蚀
B对A的腐蚀可以看作是收缩A的边界，是一个用z平移的B包含在A中的所有的点z的集合。
使用腐蚀删除图像中的某些部分。
腐蚀是一种消除连通域的边界点，使边界向内收缩的处理。
2.膨胀


翻转、有则膨胀
B对A的膨胀可以看作是扩展A的边界，是以B关于它的原点的映像，并且以z对映像进行平移为基础的，B关于它的原点的映像和A至少有一个元素是重叠的。
使用膨胀修复断裂的字符。
膨胀是将目标区域的背景点合并到该目标区域中，使目标物边界向外部扩张的处理。
Pre.（2002-1-3）腐蚀与膨胀
腐蚀就是对于一个灰度值为“1”的象素点f(x,y), 如果邻域中有一个像素点的值为“0”，则f(x,y)由“1”变为“O”;而膨胀即对于一个灰度值为“0”的像素点f(x,y),如果邻域中有-个像素点的值为“1”,则f(x,y)由“0”变为“1”。
3.（2018-1-8）膨胀和腐蚀运算的优缺点。
膨胀是将目标区域的背景点合并到该目标物中，扩展目标物的边界，使目标物增大，可填补目标中的空洞，但同时可能会增强图像中的噪声等无用信息。
腐蚀是一种消除连通区域的边界点、使边界向内收缩的处理，其可以消除小于结构元元素的噪声点，缺点是可能会造成信息丢失，使连接断开。
4.二值图像膨胀和腐蚀的计算①2014-7、2016-4；②2022-8；
5.对偶性
腐蚀和膨胀相对于补集和反射集彼此对偶，即：




使用一个相同的结构元膨胀A的背景（膨胀AC），然后求结果的补集即可得到这个结构元对于A的腐蚀。
9.3开运算与闭运算

• 开运算。①2006-7；
  

开运算平滑物体的轮廓、断开狭窄的狭颈、消除细长的突出物。
B对A的开运算：B先对A腐蚀，接着B对腐蚀结果膨胀。


2.闭运算。①2007-9；
闭运算平滑轮廓，填充狭长的断裂和细长的沟壑，消除小孔并填补轮廓中的缝隙。
B对A的闭运算：B先对A膨胀，接着B对膨胀结果腐蚀。




3.对偶性
如同腐蚀和膨胀那样，开运算和闭运算相对于补集和反射集彼此对偶：




开运算去掉冗余噪音，闭运算去掉欠缺噪音。
4.（2016-1-9）简述如何利用数学形态学方法滤除图像噪声。
对图像中的噪声进行滤波是图像预处理中不可缺少的操作，将开运算和闭运算结合起来可以构成形态学噪声滤除器。
滤除噪声就是进行形态学平滑，实际中常用开启运算消除与结构原始相比尺寸较小的亮细节，而保持图像整体灰度值和大的亮区域基本不变；用闭运算消除与结构元素相比尺寸较小的暗细节，而保持图像整体灰度值和大的暗区域基本不变。将这两种操作结合起来可以达到去除亮区域和暗区域中各类噪声的效果。结构元素的选取是个重要的问题。
5.(2021-1-5) 对比分析闭运算与膨胀运算在图像处理中的作用。
闭运算：填充物体内细小孔洞、连接邻近物体、平滑边界。
膨胀：填充孔洞、提取连通分量。
9.4击中-击不中变换+

击中-击不中变换(HMT)是形状检测的基本工具。
在前景中找匹配项B1，背景中找匹配项B2。






在图像A中把B找到并输出其原点。






9.5一些基本的形态学算法

9.5.1边界提取

①2012-6；
前景像素的边界可以用如下方式得到：首先使用合适的结构元B腐蚀A，然后求A和腐蚀结果的差集。




9.5.2孔洞填充

①2009-6②2010-7
已知形态学填充算法的原理是：先在要填充的区域中选择一个初始点，构造出初始图像X0,然后进行：


的迭代过程，其中Xk为每次迭代结果图像，当Xk=Xk-1时，迭代结束。Xk包含所有被填充的孔洞，Xk和I的并集包含所有被填充的孔洞以及这些孔洞的边界。
∩保证条件膨胀


9.5.3提取连通分量

①2011-7；②2008-6
1.（2007-1-4）形态学连通分量提取
从X0开始找到I中所有的连通分量：B是结构元，当Xk=Xk-1时，迭代结束。




自动检测中会频繁使用连通分量，使用连通分量检测包装食品中的异物（鸡肉中的骨头）
9.5.4凸壳

欧式平面中的点集S是凸的，当且仅当连接S内任意两点的直线段完全在S内。




上述方法会导致凸壳会增长到超出保证凸壳的最小尺寸，减少这种生长的一种简单方法是，设定限制凸壳不超过集合A的垂直和水平尺寸。


9.5.5细化

B对A的细化：


重复地剥离二值图像的边界像素。①满足一个正常的腐蚀；②将那些消除后并不破坏连通性的点消除，否则保留。
将一个曲线形物体细化为一条单像素宽的线，从而图形化的显示其拓扑性质。




细化是提取线宽为一个像元大小的中心线的操作。
9.5.6粗化







9.5.7骨架



骨架可以用腐蚀和开运算来表示。


1.（2002-1-2）中轴变换
中轴变换就是将区域骨架化，可以用于细化也可以用于区域描述。
9.5.8剪裁

剪裁方法本质上是对细化和骨架算法的补充。在手写字符的自动识别应用中，一种常用的方法是分析每个字符的骨架形状。
不断消除寄生分支的端点来抑制寄生分支。


9.6形态学重建+

测地腐蚀、测地膨胀。
形态学重建涉及两幅图像和一个结构元：一幅图像是标记，F，包含重建的起点；另一幅图像是模板G，用来约束重建。
重建开运算能够精确地恢复腐蚀后所保留地目标地形状。
重建开运算提取高字符：


填充孔洞的自动算法：根据形态学重建开发的全自动过程。




c标记图像。
基于形态学重建的边界清除。


a标记图像
9.7二值图像形态学小结*

9.8灰度级形态学

9.8.1灰度腐蚀和膨胀

当平坦结构元b的原点是(x,y)时，它在(x,y)对f的灰度腐蚀定义为：图像f与b重合区域中的最小值。结构元b在位置(x,y)处对图像f的腐蚀写为：


类似，当的原点是(x,y)时，平坦结构元b在(x,y)处对图像f的膨胀定义为图像f与重合区域中的最大值，即：


其中，(c,d)=b(-c,-d)
腐蚀暗、膨胀亮。
1.（2021-3）有一幅灰度图像如图，请使用3x3大小(8邻域)的平坦结构元对其进行膨胀处理，给出处理后的结果。


注意此题的图像是灰度级图像，不是二值图像。其膨胀操作:平坦结构元b在任何位置(x，y)处对图像f的膨胀，定义为图像f中与重合区域的最大值，即


。故其结果为：

0	1	1	1	0
1	2	2	2	1
1	2	2	2	1
1	2	2	2	1
0	1	1	1	1

综合

1.（2018-7）（Ed3-9.36）（Ed4-9.51）显微应用中一个预处理步骤是从两组或更多组重叠的类似颗粒(见图)中分离出单个圆颗粒。假设所有颗粒的大小相同，提出一种产生3幅图像的形态学算法，这3幅图像分别仅由如下物体组成:

• 仅与图像边界融合在一起的颗粒。
  
• 仅彼此重叠的颗粒。
  
• 没有重叠的颗粒。
  

• 用与颗粒相同的颜色为图像边界像素着色，再使用所得的边界像素，计算其所有的连通分量，即为与图像边界融合的颗粒。
  
• 假定所有的粒子大小都相同，确定单个粒子的面积即像素数，用A表示。从图像中减去（a）所得图像，再计算图像中每一个连通分量的像素数，若像素数＞A+ε，则将其指定为彼此重叠的颗粒，其中ε是为考虑到噪声引起的尺寸变换而添加的微量。
  
• 从图像中减去（a）（b）的图像。
  

9.51 A preprocessing step in an application of microscopy is concerned with the issue of isolating individual round particles from similar particles that overlap in groups of two or more particles
(see the following image). Assuming that all particles are of the same size, propose a morphological algorithm that produces three images consisting respectively of:
(a) * Only particles that have merged with the boundary of the image.
(b) Only overlapping particles.
(c) Only nonoverlapping particles


Ch10图像分割

10.1基础知识

1.（2009-1-3）图像分割
图像分割是指将数字图像划分成互不相交（不重叠）、有意义、具有某种相同性质的区域的过程。
单色图像的分割算法依据的是灰度值的两个性质之一：不连续性和相似性。
2.为什么要进行图像分割
图像分割是图像识别和图像理解的前提步骤，图像分割质量的好坏直接影响后续图像处理的效果。
10.2点、线和边缘检测

Ps：导数公式、点检测公式和拉普拉斯核、拉普拉斯核线检测中双线效应、线检测核
1.（2010-1-1）边缘检测
基于幅度不连续性进行分割的方法，通常采用差分、梯度、拉普拉斯算子及各种高通滤波处理方法对图像进行边缘检测。
10.2.1背景知识

泰勒级数一阶导数近似：


前向差分：


反向差分：


中心差分：导数常表示为中心差分


基于中心差分的二阶导数：


三阶中心导数：


四阶有限差分：


对于两个变量：




局部平均平滑图像→平均类似积分→用导数来检测灰度的局部突变。
关于导数的一些结论：

• 一阶导数通常产生粗边缘
  
• 二阶导数对于精细细节（如细线、孤立点和噪声）有更强的响应。
  
• 二阶导数在灰度斜坡和台阶过渡处会产生双边缘效应
  
• 二阶导数的符号可以用于确定边缘的过渡是从亮到暗（负二阶导数）还是从暗到亮（正二阶导数）
  

1.（2013-1-6）一阶微分算子与二阶微分算子在提取图像细节信息的时候有什么异同？
一阶微分算子的边界是比较粗的边界，反映的边界信息较少，但是所反映的边界比较清晰。
二阶微分算子获得的边界是比较细的边界，反映的边界信息包括许多细节，但是所反映的边界不算清晰。
2.一阶微分算子和二阶微分算子的区别:

• 一阶微分处理通常产生较宽的边缘;
  
• 二阶微分处理对细节有较强的响应，如孤立点:
  
• 一阶微分处理对灰度阶梯有较强的响应;
  
• 二阶微分处理对灰度阶梯变化产生双响应;
  
• 二阶微分在图像灰度值变化相似时,对线的响应比对阶梯强，且点比线强。
  

10.2.2孤立点的检测

点检测应该以二阶导数为基础，使用拉普拉斯：




若滤波器在这一点的响应的绝对值超过一个规定的阈值，则我们说在核的中心（x,y）检测到了一个点。
点标注为1，其他为0→得到二值图像


点检测模板：


对于导数核而言，这些核的系数照例为零，表面滤波器在恒定灰度区域的响应是0。
10.2.3线检测

线检测也可用拉普拉斯核，但要正确处理双线效应。Ed4-p509
规定方向的线检测核：


10.2.4边缘模型

台阶、斜坡、屋顶边缘模型


1.由观察可以得出结论：一阶导数的幅度可用于检测图像中某个点处是否存在一个边缘。类似地。二阶导数地符号可以用于确定一个边缘像素是位于边缘的暗侧还是亮侧。边缘的二阶导数的两个附加性质如下：①对图像中的每个边缘二阶导数生成两个值。②二阶导数过零点可用于确定粗边缘的中心位置。
2.二阶导数对噪声更敏感。
3.通常用于边缘检测的三个步骤如下：

• 为了降低噪声对图像进行平滑处理。
  
• 检测边缘点
  
• 边缘定位
  

10.2.5基本边缘检测

一.图像的梯度及其性质
求图像f中任意位置 (x,y)处的边缘强度和方向的工具是梯度，梯度用▽f表示，并定义为向量：


其幅度：


用绝对值来近似梯度幅度：


方向：


（注：tan-1=arctan）
对于边缘检测而言，角度图像不如梯度图像那样有用。
二.梯度算子
【前向差分及其一维核】




1.（2014-1-5）（2016-1-6）简述梯度法与Laplacian算子检测边缘的异同点。
梯度算子：




拉普拉斯算子：▽2f(x,y)=f(x+1,y)+f(x-1,y)+ f(x,y+1)+ f(x,y-1)-4f(x,y)


区别：梯度算子是利用阶跃边缘灰度变化的一阶导数特性，认为极大值点对应于边缘点。Laplacian算子检测边缘是利用阶跃边缘灰度变化的二阶导数特性，认为边缘是交叉零点。
相同：都能用于检测边缘且都对噪声敏感。


【Roberts交叉梯度算子】（对垂直边缘和水平边缘表现最强响应）




【Prewitt算子】（对垂直边缘和水平边缘表现最强响应）




1.（2011-6）（2010-6）已知两个算子是Prewitt算子


（1）其中哪个能用来检测水平方向直线?它的频率响应是怎样的？它是一个什么类型的滤波器？
（2）写出Prewitt的能检测45°方向直线的算子。
答：（1）


，频率响应为高频提升滤波器，该算子是一种各向异性的锐化算子，而图像锐化的原理是建立在高通滤波的基础之上的，所以该算子是一种高通滤波器。
（2）约定竖直向下的方向和水平向右的方向分别为x，y轴的正向，则+45°和-45°的算子分别为：


2. prewitt算子和sobel算子：二维数字频率响应、什么类型、检测方向、噪声抑制。①2008-10、2007-4、2006-3、2020-2-3；
3.（2020-1-9）对比Roberts和Prewitt算子在边缘检测中的异同。
Roberts算子是一种梯度算子，它用交叉的差分表示梯度，是一种利用局部差分寻找边缘的算子，对具有陡峭的低噪声图像效果最好。
Prewitt算子是一阶微分算子，对噪声有抑制作用，但是像素平均相当于对图像进行了滤波，所以其对边缘的定位不如Roberts算子。
【Sobel算子】（对垂直边缘和水平边缘表现最强响应）




【Kirsch罗盘核】（检测所有八个罗盘方向的边缘幅度和方向/角度）
用8个核与图像进行卷积，并将某点处的边缘幅度赋在该点处给出最强卷积值的核的响应。


1.（2003-4）试比较Roberts算子、Sobel算子和Kirsch算子的边缘检测性能。
Roberts算子：各向同性，对噪声敏感，模板尺寸为偶数，中心位置不明显。
Sobel算子：引入平均像素，增强了最近像素的影响，噪声抑制效果比Prewitt好。
Kirsch算子：噪声抑制作用较好，需要求出八个方向的响应。
1-1（2021-1-3）对比分析Sobel边缘检测算子与Laplacian 边缘检测算子的优缺点。
Sobel算子对灰度渐变和噪声较多的图像处理效果较好，对边缘定位不是很准确；Laplacian算子是各向同性，能对任何走向的界限和线条进行锐化，但其对噪声比较敏感。
2.（2002-1-7）罗伯特算子
罗伯特算子是一种边缘检测微分算子，是对角方向相邻两象素之差，即


三．梯度与阈值处理相结合
在计算梯度之前对图像进行平滑处理可使边缘检测更具有选择性，减少细节的一种方法是在计算边缘前对图像进行平滑处理。实现同一目标的另一种方法是对梯度图像进行阈值处理。
10.2.6更先进的边缘检测技术

一、Marr-Hildrenth边缘检测子Ed4-p520
用于边缘检测的算子应该具有两个显著的特征：
①是一个微分算子，能够在图像中的每个点计算一阶导数或二阶导数的数字近似。
②它应该能够调整到任何想要的尺度，以便大算子可以用来被检测模糊的边缘，而小算子可以用来检测清晰的细节。
Marr和Hildrenth认为满足这些条件的最好的算子是滤波器▽2G。
二维高斯函数：


将拉普拉斯代入：


整理后得到高斯拉普拉斯（LoG）函数：




核为零、寻找过零点、零阈值：“意大利通心粉效应”（闭环边缘）；
高斯差分（DoG）和LoG、相同过零点、标准差（也称空间常数）σ的选择。
1.（2008-1-6）（2006-1-6）高斯型的拉普拉斯算子
为了取得更好的锐化效果的同时把干扰降到最低，先对有噪声的原始图像进行平滑滤波，然后再进行锐化处理增强边缘和细节，这种将高斯平滑算子和拉普拉斯算子结合起来进行锐化处理的办法称之为LoG算法。
2. ★Marr-Hildrenth边缘检测算法小结
由于拉普拉斯变换核卷积都是线性运算




①对二维高斯函数取样得到一个n×n高斯低通核对输入图像滤波
②计算第一步得到的图像的拉普拉斯
③找到步骤②的过零点。
二、坎尼边缘检测子Ed4-p524
1.坎尼方法的三个基本目标
①低错误率。所有边缘都应该被找到且不含虚假响应。
②边缘点被很好的定位。已定位的边缘尽可能接近真实边缘。
③单个边缘点响应。对每个真实的边缘点，检测子应只返回一个点。也就是说真实边缘周围的局部最大数应该是最小的，这意味着检测子不应识别只存在单个边缘点的多个像素边缘。
2.一些详细说明
对最优台阶边缘检测子的一个较好的近似是高斯一阶导数：


推广到二维时：首先使用一个圆形二维高斯函数平滑图像，计算结果的梯度，然后使用梯度的幅度和方向来计算每点处的边缘强度与方向。








梯度图像


通常在局部极大值附近包含一些宽脊，下一步是细化这种宽脊。一种方法是使用非极大值抑制。
3.非极大值抑制
①寻找最接近α(x,y)的方向dk。
②令K表示||▽fs||在(x,y)处的值。若K小于dk方向上点(x,y)的一个或两个邻点处的||▽fs||值，则令gN(x,y)=0（抑制）；否则令gN(x,y)=K。
对x和y的所有值重复这一过程，产生一幅与fs(x,y)大小相同的非极大值抑制图像gN(x,y)。图像gN(x,y)只包含细化后的边缘。
4.双阈值处理
阈值太低导致假边缘（假正值），阈值太高删除有效边缘点（假负值）。坎尼算法采用滞后阈值来改进这个问题。滞后阈值使用了两个阈值，一个低阈值TL和一个高阈值TH。Canny实验高阈值与低阈值的比值应该在2：1到3：1之间。
可将阈值处理想象成创建两幅额外的图像：
gNH(x,y)=gN(x,y)≥TH和gNL(x,y)=gN(x,y)≥TL
最初gNH(x,y)和gNL(x,y)都被设置为零，阈值处理后，与和gNL(x,y)相比，和gNH(x,y)通常有更少的非零像素，但gNH(x,y)中的像素都包含在gNL(x,y)中。
通过令gNL(x,y)= gNL(x,y)- gNH(x,y)，我们从gNL(x,y)中删除所有来自gNH(x,y)中的非零像素。gNH(x,y)和gNL(x,y)中的像素可以分别视为“强”边缘像素和“弱“边缘像素。
阈值处理后gNH(x,y)中的所有强像素均被假设是有效的边缘像素并立即被标记。取决于TH的值，gNH(x,y)中的边缘通常存在缝隙。较长的边缘是用连通性分析形成的。
5.连通性分析
①在gNH(x,y)中定位下一个未被访问的边缘像素p
②将gNL(x,y)中用8连通连接到p的所有弱像素标记为有效边缘像素
③若gNH(x,y)中所有非零像素已经被访问，则跳到步骤④否则返回步骤①
④将gNL(x,y)中未标记为有效边缘像素的所有像素置为零
在这一过程的末尾将gNL(x,y)的所有非零像素附加到gNH(x,y)形成坎尼算子输出的最终图像。
6. ★（2020-1-4）坎尼边缘检测算法的步骤小结
①使用一个高斯滤波器平滑输入图像。
②计算梯度幅度和角度图像
③对梯度图像应用非极大值抑制
④使用双阈值处理和连通性分析来检测与边缘连接
尽管非极大值抑制之后的边缘比原始梯度边缘细，但仍粗于1像素。为了得到1像素的边缘，通常在步骤④之后再进行一次细化。
在坎尼图像中，线的连续性、细度和笔直度也比较好。坎尼算法是唯一能够为大脑的后边界和脊髓的最接近边界产生完整无断裂边缘的程序，也是在消除原图像中与灰色大脑物质相关的所有边缘时能找到的最好轮廓的程序。
10.2.7连接边缘点

理想情况下，边缘检测应该仅产生位于边缘上的像素集合。实际上，由于噪声、不均匀照明引起的边缘间断，以及其他引人灰度值虚假的不连续的影响，这些像素并不能完全描述边缘特性。因此,通常在边缘检测后紧跟着连接算法，将边缘像素组合成有意义的边缘或区域边界。
一、局部处理
连接边缘点最简单的方法之一是在每个边缘点(x,y)处的一个小邻域内分析像素的特点，根据预定的准则将所有的相似点连接起来，以形成具有相同性质的像素的一条边缘。
在这种局部分析中用于建立边缘像素相似性质的两个主要性质是：
①梯度向量的强度（幅度）
②梯度向量的方向
令Sxy表示图像中以点(x,y)为中心的一个邻域的坐标集，如果：


那么Sxy中坐标为(s,t)的边缘像素在幅度上与(x,y)处的像素是相似的。如果：


那么Sxy中坐标为(s,t)的边缘像素在角度上与(x,y)处的像素是相似的。
如果既满足幅度准则又满足方向准则，那么Sxy中坐标为(s,t)的边缘像素连接到(x,y)处的像素。
上述步骤需要考虑每个点的每个邻域，计算复杂，一种简化步骤如下：
①计算输入图像f(x,y)的梯度幅度列阵M(x,y)和梯度角度列阵α(x,y)
②形成一幅二值图像g(x,y),它在任何点(x,y)处的值由下式给出：


其中，TM是阈值，A是规定的角度方向，±TA定义了关于可A可接受方向的一个“条带”。
③扫描g的行，并在不超过规定长度L的每行中填充（置1）所有间隙（0的合集）。根据定义，间隙和两端被一个或多个1限制。分别处理各行，它们之间没有“记忆”。
④在其他任何角度θ上检测间隙，将g旋转角度θ，并应用步骤③中的水平扫描过程，将结果旋转-θ。
二、使用霍夫变换的全局处理
1.★（2019-1-8）（2016-1-2）简述使用霍夫变换提取直线段的原理
霍夫变换：把直线上点的坐标变换到过点的直线的系数域，通过利用共线和直线相交的关系，使直线的提取问题转化为计数问题。其具体过程为：对于任意两点的直线方程y=ax+b构造一个a，b的平面，从而有：

• x，y平面上任意一条直线y=ax+b，对应在参数a，b平面上的一个点。
  
• 过x，y平面上一个点(x,y)的所有直线构成参数a，b平面上的一条直线。
  
• 如果点（x1，y1）与（x2，y2）共线，那么这两点在参数a，b平面上的直线将有一个交点。
  
• 参数a，b平面上相交直线越多的点，对应x，y平面上的直线就是所需的解。
  共点直线群的霍夫变换是一条正弦曲线。
  2. （2003-2-2）试述霍夫变换(Hough Transformation)的思想，阐述广义霍夫变换的变换过程。
  霍夫变换就是变换参数空间，并统计投票结果，取峰值作为要求的参数值。广义霍夫变换用一个给定形状的R表来检测给定形状、大小、方向的物体的位置。
  3.（2002-2-6）对一个不规则图形，如肿瘤病灶，说出如何用霍夫变换检测出其边界。
  设定一个参考点，以梯度角度为下标，存储连线的方向及连线的长度，得到一个表征给定形状的R表，若待测形状与已知形状一致,则可以形成峰点。
  4.（2021-10）视觉场景中的消失点，是场景结构的重要参考点，准确地检测图像中的消失点，对于场景理解具有重要意义。消失点一般是指视觉空间中平行线在远处的视觉相交点。
  1)简述Hough变换检测直线的基本原理。
  2)基于Hough变换等基本知识，设计一种能够检测图像中消失点的算法。(描述实现思路算法步骤即可)。
  

10.3阈值处理
综合
1.给出灰度值的分布的概率密度函数，求分布的图形和确定阈值使得错分像素最少。①2009-8；②2011-4
2.双驼峰直方图可以用高斯型曲线近似，利用最优全局阈值来计算阈值的选择。①2012-9、2010-4、2008-8、Ed4-10.34
3. 阈值分割Ed4-p534
将所有灰度大于或等于阈值的像素都被判为属于物体，将所有灰度值小于该阈值的像素都排除在物体之外。适用于物体与背景有较强对比度的景物的分割。
4.用灰度阈值法对图像进行二值化。①2016-3；
10.3.1基础知识
1.（2004-1-1）图像二值化
由灰度图产生二值图像的过程，如果输入像素的灰度值大于给定的阈值则输出像素赋为1，否则赋为0。
2.全局阈值处理和可变阈值处理
从背景中提取目标的一种明显方法是选择一个分隔这些模式的阈值T。然后分割后的图像：



当T是一个适合于整个图像的常数的时候，上式给出的处理为全局阈值处理。当T值在一幅图像上变化时，上式给出的处理称为可变阈值处理。
具有三个主导模式的直方图：





阈值处理中噪声的作用、图像直方图处理中光照和反射的作用；Ed4-p536
10.3.2基本的全局阈值处理
1.（2015-9）阈值处理是图像分割中一种简单、有效的技术，但其中的阈值选择极为关键。请给出一种自动估计阈值的算法。
（2007-1-7）（2006-1-7）试探法阈值选择算法
（2021-1-9）请简述基本的全局阈值分割方法的计算步骤。
①为全局阈值T选择一个初始估计值。
②由灰度值大于T的所有像素组成G1，由灰度值小于T的所有像素组成G2。
③对G1和G2中的像素分别计算平均灰度值（均值）m1和m2。
④在m1和m2之间计算一个新的阈值T=(m1+m2)/2
⑤重复步骤②-④，直到连续迭代中的两个T值的差小于某个预定义的值ΔT为止。
10.3.3使用Otsu方法的最优全局阈值处理
Otsu算法也称最大类间差法，有时也称之为大津算法，由日本人大津于1979年提出，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。
原理：
对于图像f(x,y)，前景(即目标)和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0；背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1。图像的总平均灰度记为μ，类间方差记为g。
假设图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：
①ω0=N0/ (M×N)
②ω1=N1/ (M×N)
③N0+N1=M×N
④ω0+ω1=1
⑤μ=ω0×μ0+ω1×μ1
⑥g=ω0(μ0-μ)2+ω1(μ1-μ)2
将式⑤代入式⑥,得到等价公式:
⑦g=ω0ω1(μ0-μ1)2 ，这就是类间方差
采用遍历的方法得到使类间方差g最大的阈值T,即为所求。
1.（2020-1-6）简述大津算法的操作步骤。
10.3.4使用图像平滑改进全局阈值处理
噪声会使得简单的阈值处理问题变得不可求解，无法从源头降低噪声，并且阈值处理是首选分割方法时，增强性能的一种技术通常是在阈值处理之前平滑图像。
10.3.5使用边缘改进全局阈值处理
1.（2018-1-2）边缘改进全局阈值处理p543
（2020-2-5）为什么可以利用边缘信息改进阈值分割，描述原理并简述其步骤信息。
（2015-8）为什么可以利用边缘信息改进阈值分割？请设计一个相应的算法并描述其基本步骤。
（2013-1-2）图像阈值处理在图像分割应用中出于核心地位。请描述利用边缘改进全局阈值处理的基本步骤。
基本思想：
①若直方图的波峰是高的、窄的、对称的，并且被较深的波谷分开，则找到一个“好”的阈值的可能性大大增大。②按照①中所说改进直方图形状的一种方法是，仅考虑那些位于或靠近目标和背景边缘的像素。
步骤：
①对原图像f(x，y)进行边缘检测，将边缘图像计算为f(x，y)的梯度幅度或拉普拉斯的绝对值。
②规定一个阈值T。
③用阈值T对①中的图像进行阈值处理，得到一幅二值图像gT(x，y)，在从f(x，y)中选取对应“强”边缘像素的下一步中，该图像用作一幅模板图像。
④只用f(x，y)中对应着gT(x，y)中1值像素位置的那些像素计算直方图。（/用f(x，y)乘gT(x，y)得到边缘图g(x，y)，计算g(x，y)的直方图）

• 用④中得到的直方图计算最佳阈值T全局地分割f(x，y)。
  

10.3.6多阈值处理



10.3.7可变阈值处理

理解成将图像分成N个小窗口，对每个窗口设置阈值，一种比较简单的方法就是寻找窗口内的最大值和最小值，选取均值作为阈值。当然，也可以每个窗口用Otsu。Ed4-p548
一、基于局部图像性质的可变阈值处理
二、基于移动平均的可变阈值处理
1.（2016-8）（2020-2-7）（Ed4-eg10.19）下图为一个被正弦亮度遮蔽污染的文本图像。请设计一种基于局部图像特性的可变阈值处理方法恢复问题图像。


使用可变阈值处理方法是以沿着一幅图像的扫描行计算移动平均为基础的。通常，为减少光照偏差，扫描是以Z字形模式逐行执行的。令zk+1表示步骤k+1扫描序列中遇到的点的灰度。这个新点处的移动平均（平均灰度）为：


①
式中，n是用来计算平均的点数，m（1）=z1。对k施加的条件是，zk上的所有下标都是正数。这意味着必须使用n个点来计算平均值。当k小于所示的极限时（发生在图像边界附近），用可用的图像点形成平均值。由于对图像中的每个点都计算了移动平均，所以用Txy=cmxy的式子


实现分割。其中c是一个正标量，mxy是在输入图像中点（x,y）处用式①计算的移动平均。
对于手写内容的图像，经验是让n等于平均比划宽度的5倍，在这种情况下平均宽度为4个像素，因此我们在式①中令n=20并使用c=0.5。
当感兴趣目标区域小于图像尺寸时（打印或手写文本的图像满足这一条件），基于移动平均的阈值处理效果很好。
处理结果如下：


补充：使用Otsu方法全局阈值处理后的结果：


10.4使用区域增长、区域分离与聚合进行分割

1.（2010-1-3）（2005-1-6）基于区域的图像分割
利用同一区域内灰度值的相似性，将相似的区域合并，把不相似的区域分开，最终形成不同的分割区域。常用的方法有区域生长法、分裂合并法及空间聚类法等。
10.4.1区域生长

1.（2009-1-5）（2011-1-4）（2012-1-3）区域增长/区域生长
区域生长是指根据预定义的生长准则，将像素或子区域组合成更大区域的过程。
区域生长的步骤：选择合适的种子点，确定相似性准则（生长准则），确定生长停止条件。
1-1（2015-1-9）请简述利用区域生长方法进行图像分割的基本过程。
区域生长法的基本思想是将具有相似性质的像素结合起来构成区域，相邻与相似准则是区域生长的条件，具体步骤如下：
①选择一组能正确代表所有区域的种子像素点作为起点。
②按照生长过程种能将相邻像素包括进来的准则进行生长。
③根据生长过程停止条件判断生长的结束。
其中生长的准则对算法的性能具有很大的影响，根据相似性准则的不同可以分为简单生长、质心生长和混合生长等。
区域生长示意图（红果研讲义）
2.（2019-8）（2013-10）图像中背景像素的均值与标准差分别为110和20，目标像素的均值和标准差分别为200和45。请提出一种基于区域生长的方法将目标分割开来。
2019答案红果研：
由于目标像素的标准差相对较大，生长过程中纳入的背景点会过多，这里可以考虑分割出背景点，再用原图减去背景点，得到目标，具体步骤为：

• 从左到右，从上到下扫描图像；
  
• 将发现的灰度值大于200的像素作为种子点进行区域生长，生长准则将相邻的灰度值与已有区域的平均灰度值的差小于20×3=60的像素扩展进来（由于背景区的标准差σ为20，取其置信区间3σ）；
  
• 若不能再生长，则标记已生长的区域；
  
• 如果扫描到图像的右下角，则结束过程，否则返回①继续进行。
  

2013答案知博：可采用区域生长方法，一种方法的步骤如下：

• 从左到右，从上到下扫描图像；
  
• 将发现的灰度值大于200的像素作为种子点进行区域生长，生长准则将相邻的灰度值与已有区域的平均灰度值的差小于20×45=125的像素扩展进来（由于目标区的标准差σ为45，取其置信区间3σ）；
  
• 若不能再生长，则标记已生长的区域；
  
• 如果扫描到图像的右下角，则结束过程，否则返回①继续进行。
  

绝对灰度差作为相似测度：


10.4.2区域分离与聚合/区域分裂与合并

首先将图像细分为一组不相交的区域，然后在满足分割条件的基础下聚合或分离这些区域。
算法：
①对于图像中灰度级不同的区域，均分为四个子区域。
②如果相邻的子区域中所有像素灰度级相同，则将其合并。
③反复进行上两步操作，直至不再有新的分裂与合并为止。
1.（2020-1-8）简述分裂聚合法的步骤。
具体步骤小结：
①把满足Q(Ri)=FALSE的任何区域Ri分离为4个不相交的子象限区域，Q是一种判断条件。
②无法进行进一步分离时，聚合满足Q(Rj∪Rk)=TRUE的任意两个子区域Rj和Rk。
③无法进行进一步操作时，停止操作。


分裂聚合法示意图：红果研讲义
10.5使用聚类和超像素的区域分割+

10.5.1用k均值聚类的区域分割（K-Means聚类算法）

在数据中寻找聚类的经典方法，它与亮度和颜色等变量有关。
k均值聚类方法的基本思想是，将向量观测值集合Q划分为规定数量k的聚类。在k均值聚类中，每个观测值都被分给具有最近均值的聚类，因此每个均值称为其聚类的原型。K均值算法是一个迭代过程，它不断地细化均值直到均值收敛。
本节“标准的”k均值算法依据的是欧氏距离。对于一个给定的向量观测值{z1,z2,…,zQ}和一个规定的k值，这一算法如下：
①初始化算法：规定一组初始均值mi(1),i=1,2,…,k。这些初始均值是初始聚类中心，也称种子。
②将样本分配给聚类：将每个样本分配给均值最接近的聚类集合（关系被任意求解，但样本只分配给一个聚类）：


③更新聚类中心（均值）：


式中，|Ci|是聚类集合Ci的样本数。
④完备性验证：计算当前步骤和前几步中平均向量之间的差的欧几里得范数。计算残差E，即k个范数之和。若E≤T，其中T是一个规定的非负阈值，则停止。否则返回步骤②。
算法的流程简单记录如下：选取K个样本作为聚类中心，计算各个样本到聚类中心的距离，更新均值向量，重复以上步骤
分割算法核心：对图像的像素进行聚类，相似RGB值的像素被聚到一起，就形成了K个区域。
10.5.2使用超像素的区域分割

超像素的思想是通过将像素组合到比各个像素更有感知意义的原始区域来取代标准像素网格。目的是减少计算开销，并通过减少不相关的细节来提高分割算法的性能。


(a) Image of size 600 480 × (480,000) pixels. (b) Image composed of 4,000 superpixels (the boundaries between superpixels (in white) are superimposed on the superpixel image for reference—the boundaries are not part of the data). (c) Superpixel image. (Original image courtesy of the U.S. National Park Services.).
一、SLIC超像素算法（简单线性迭代聚类SLIC）
SLIC是对k均值算法的一种改进。常用于但不限于包含三个颜色分量和两个坐标空间的五维向量。例如如果正在使用RGB彩色系统，那么与图像像素相关连的五维向量为：


(r,g,b)是像素的三个颜色分量，(x,y)是像素的两个空间坐标。令nsp是所需要的超像素数，令ntp是图像中的像素总数。初始的超像素中心mi=[ri,gi,bi,xi,yi]T,i=1,2,…,nsp,是对图像以间距为s个单位的规则网格取样得到的。为了生成大小近似相等的超像素（即面积），选择网格的间距为s=[ntp/nsp]1/2。为了防止在图像边缘对超像素中心化，并减少从噪声点开始的机会，将初始聚类中心移到每个中心周围3×3邻域最小梯度的位置。
SLIC算法由以下步骤组成（一般情况下，超像素是向量，当我们引用算法中的像素时指的是超像素对于图像(x,y)的位置。）：
①初始化算法：以规则网格步长s对图像取样，计算初始的超像素聚类中心，
mi=[ri,gi,bi,xi,yi]T,i=1,2,…,nsp
将聚类中心移到每个中心周围3×3邻域最小梯度的位置。对于图像中的每个像素位置p，设置标签L(p)=-1和距离d(p)=∞。
②将样本分配给聚类中心：对于每个聚类中心mi，i=1,2,…,nsp，在一个关于mi的2s×2s邻域中，计算mi与每个像素p之间的距离Di(p)。然后，对于每个p和i，若Di＜d(p)，则令d(p)= Di，和L(p)=i。
③更新聚类中心：令Ci表示图像中具有标记的像素集。更新mi：


其中，|Ci|是集合Ci的像素数，z=[r,g,b,x,y]T
④收敛性检验: 计算当前步骤和前几步中平均向量之间的差的欧几里得范数。计算残差E，即nsp个范数之和。若E＜T，其中T是一个规定的非负阈值，则进入步骤⑤。否则返回步骤②
⑤后处理超像素区域：将每个区域Ci中的所有超像素替换为它们的平均值mi
这个算法类似k均值算法，但距离Di不规定为欧氏距离，并且这些距离是针对大小为2s×2s的区域计算的而不是针对所有像素计算的，因此大大减少了计算时间。
实践中，SLIC相对于E的收敛可以用较大的T值实现，例如T=10
二、规定距离测度*Ed4-p559
1.（2022-1-3）什么是超像素分割，其在图像分析中有何意义
超像素分割是先按色素划分色块，转化为函数，作为一个具有形状、 性质的
像素来对待。这个超像素数据大于常规一个点像素数据，但是可以代表一个区域的像素点。然后实现分割。超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息，用少量的超像素代替大量像素表达图像特征，降低了图像处理的复杂度。用于跟踪，标签分类，超像素词袋，视频前景分割，骨架提取，人体姿态估计，医学图像分割等对分割的速度有要求的应用。
10.6使用图割分割区域*

10.7使用形态学分水岭分割图像

1.（2007-1-5）汇水盆地与分水线
类比为地形学，对于某个特定区域的极小值，满足“水滴所在位置的点，如果把水滴放在任意点处，水滴必然会流向某个极小值点”的条件的点集称为该极小值的汇水盆地或分水岭。
满足“水等概率地流向不止一个极小值的点”的条件的点形成地形表面的顶点线称之为分界线或分水线。
2.（2018-1-6）分水岭分割算法及其基本步骤。①2009-10；
所有的灰度图像都可视为拓扑平面,灰度值高的区域看成山峰,灰度值低的区域看成山谷。我们向图像上所有的“山谷”注入不同颜色的水,不断的注水,水位则不断上升,注入的水将灌满山谷,并可能淹没山峰。为了防止不同颜色的山谷中的水溢出汇合,我们可在汇合的地方筑起堤坝，即分水岭,故可将分水岭看作是对图像的分割后形成的边界。
实现步骤：先把图片转化为灰度梯度级图像，在图像梯度空间内逐渐增加灰度阈值，每当它大于一个局部极大值时，就把当前的二值图像与前一个时刻的二值图像进行逻辑异或操作，从而确定出灰度局部极大值的位置。根据所有灰度局部极大值的位置集合就可以确定分水岭。
3.水坝的构造
水坝的构造是以二值图像为基础的，构造水坝边界点集的最简单的方法是使用形态学膨胀。
10.8分割中运动的使用（运动信息在分割中的应用）

累积差值图像（ADI）是通过将参考图像与序列中的每幅后续图像进行比较形成的。有绝对ADI、正的ADI和负的ADI。


Ed4-p574
1.（2008-1-6）建立基准帧的方法Ed4-p574
将图像序列中的第一幅图像作为参考图像。当一个非固定完全移除其在参考帧中的位置时，将当前帧中对应的背景复制到参考帧中该目标最初所在的位置当所有的移动目标均已完全移除原来的位置时，就创建了一幅仅包含固定分量的参考图像。
2.（2019-9）使用无人机对地面进行视频拍摄，路面明暗分明，对路面背景进行建模，使用什么方法可以发现运动中的物体，如汽车。
注：这道题有考察对运动物体的分割，2019年新题，引起重视
考虑将图像序列中的第一幅图像作为参考图像，当一个非固定成分完全移出其参考帧的位置时，就创建了一幅仅包含固定成分的参考图像。具体步骤为：通过监视ADI的变化，可以确定一个移动物体的初始位置。通过观察图像序列中正ADI停止变化的那一帧图像，可以从该图像中复制先前被初始帧中移动物体所占据的区域，然后将该区域粘贴到被挖去物体的图像中，从而恢复该区域的背景。然后将后续帧与参考图像比较，能发现运动物体。
Ch11特征提取

11.1背景*

11.2边界预处理+

11.2.1边界跟踪

1.（2002-1-5）虫随法
虫随法就是以光栅扫描到的第-一个边界点作为起始点，如果遇到“1”点向左走一步，继续寻找，如果遇到“0”向右走一步，继续寻找，直到回到起始点，所经过的点即为边界点。
11.2.2链码

1.（2008-1-7）（2011-1-5）（2007-1-3）链码
链码通过规定长度和方向的直线段来表示边界。按照水平、垂直和两条对角线方向可以为相邻的两个像素点定义四个方向符0，1，2，3，分别表示0°，90°，180°，270°四个方向，如四链码：


同理还有八链码：


链码就是用线段的起点加上由这几个方向符所构成的一组数列，通常称之为弗里曼链码。
2.写出链码，并对链码归一化，写出一阶差分链码并说明其与边界的旋转无关。①2013-3；
3.写出链码并计算边界长度。①2006-9；
4.（2003-1-8）一个图形的闭合边界用链码表示为:4636356003210，写出其微分链码。
4253521203777
5.写出规格化链码及其链码的导数，描述矩形链码。不闭合曲线的规格化链码
(2002-3-4)画出链码为01222322100000765556711的曲线,并写出其规格化链
码及链码的导数。描述出所有由水平和竖直边组成的矩形的链码。


矩形的链码由0、2、4、6组成，0与4的数目相同，2与6的个数相同。
11.3边界特征描述子

1.基本的边界描述

• 边界的长度
  边界的全局特征,指边界所包围区域的轮廓的周长
  
• 曲率
  

描述边界上各点沿边界方向变化的情况
在1个边界点的曲率的符号描述了边界在该点的凹凸性
如果曲率大于0 ,则曲线凸向朝着该点的法线的正向。
如果曲率小于0 ,则曲线凹向朝着该点法线的负方向。
2.形状数Shape Numbers
形状数是基于链码的1种边界形状描述符
根据链码的起点位置不同, 1个用链码表达的边界可以有多个1阶差分
形状数是值最小的(链码)差分码


3.傅里叶描述子
可用复数(xk十jyk)的形式来表示给定边界上的每个点(x , y)。
是点对点的一一对应映射关系。
11.4区域特征描述子

11.4.2拓扑描述子

1.（2002-1-1）欧拉数
拓扑特性中连通分量数与孔数的差就是欧拉数。
欧拉数: E=C-H,其中C是连通分量数，H是孔洞数。欧拉数是一种拓扑特性，可以简单的解释由直线段表示的区域。
11.4.3纹理

1.（2009-1-4）纹理
纹理没有确切的定义，在图像中某个特定的区域中出现的某种局部模式重复出现，我们把这种灰度分布宏观上的规律性结构称为纹理。纹理是一种描绘子，可以提供平滑度、粗糙度和规律性等特征的度量。通常纹理特征和物质的位置、走向、尺寸大小和形状有关，但与像素的平均灰度值无关。
【灰度共生矩阵】①2019-6；②2018-5、2016-6、2013-5；③2007-6、2006-4；④2021-4；⑤2022-5；⑥2020-2-6；
灰度共生矩阵：从图像灰度为i的像元出发，沿着某一方向θ、距离为d的像元j同时出现的概率P（i，j，θ，d），这样构成的矩阵称为灰度共生矩阵。
2.（2014-1-7）使用灰度共生矩阵描述图像有什么好处？它与直方图描述的纹理度量的本质差别是什么？
灰度共生矩阵是以条件概率提取纹理为特征，它反映的是图像灰度中关于方向、间隔和变化幅度等方面的灰度信息，因此可以用于分析图像的局部特征以及纹理分布规律。
灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的，它不仅反映亮度的分布特征，也反映具体同样亮度或接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征，它是定义一组纹理的基础，是分析图像局部模式和它们排列规划的基础。
11.5作为特征描述子的主分量+

1.（2019-1-9）如何使用主分量分析增强图像中的场景信息的同时不会增强图像中的噪声？
思路：可以使用主分量变换，然后用选取前面较大的特征值来进行重建，因为噪声的占比是较小的，然后将重建的图像和原图叠加。
主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。这组变量中的每个变量都体现了整体图像信息，其中越排在前面的变量代表的整体信息越多，大量有用信息包括在其中，越排在后面的变量代表的整体信息越少，大量噪声包括在其中。将前面n个变量进行主成分分析就能有效实现目标信息处理增强而不增强噪声信息。
2.主成分分析（principal component analysis，PCA）
主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。它是研究如何通过少数几个主成分来揭示多个变量间的内部结构的办法。
2-1（2009-7）试推导K-L变换（也叫PCA主成分分析）前后的协方差矩阵之间的关系。
2-2（2004-7）证明PCA (主成份分析)变换之后的向量的协方差矩阵是一对角元素为输入向量协方差矩阵的特征值的对角阵。
3.（2018-1-9）主分量变换中用特征值重建图像的基本步骤。
①选3个以上点的坐标分量构成一组矢量
②计算的均值矢量x和协方差矩阵cx
③计算cx的特征值，获得特征矢量矩阵A

• A用作将向量x映射为向量y的一个变换矩阵，y=A(x-mx)
  
• 又A各行是正交向量，任何向量x都能通过=ATky+mx重建，其中Ak是由对应于k个最大特征值的k个特征向量形成的矩阵。
  

11.6整体图像特征+

基于整体图像特征的检测方法有两种：基于角的检测、处理图像中的所有区域。
11.7尺度不变特征变换（SIFT）+

SIFT是用于图像处理领域的一种描述。这种描述具有不变性，可在图像中检测出关键点，是一种局部特征描述子。
该方法能够对于不同视角下的物体或场景实现可靠匹配，算法提取到的特征对图像的尺度和旋转具有不变性，即我们平常所说的尺度不变性、旋转不变性。当对图像进行仿射畸变差(affine distortion)、改变三维视角(change in 3D viewpoint)、额外增加噪声(addition of noise)、改变光照强度(change in illumination)等变化，我们提取到的特征都表现出了很好的鲁棒性(robust)。
ch12图像模式分类+

12.1背景

在图像模式识别中，我们将模式视为特征的一种空间排列。模式类（别）是具有某些公共性质的一组模式。
识别主要分为四个阶段：感知、预处理、特征提取、分类。Ed4-p653
1.（2005-1-7）模式识别的三个阶段
图像分割、特征提取、分类。
12.2模式与模式类+

在图像模式识别中，我们将模式视为特征的一种空间排列。模式类（别）是具有某些公共性质的一组模式。
模式标志了物件之间隐藏的规律关系。
模式类则是按照一定规律对模式进行的分类。
12.3原型匹配模式分类+

原型说的突出特点是，它认为在记忆中贮存的不是与外部模式有一对一关系的模板，而是原型（Prototype）。原型不是某一个特定模式的内部复本。它被看作一类客体的内部表征，即一个类型或范畴的所有个体的概括表征。这种原型反映一类客体具有的基本特征。
例如，人们看到各种不同外形的飞机，而带有两个翅膀的长筒可作为飞机的原型。因此，照原型说看来，在模式识别过程中，外部刺激只需与原型进行比较，而且由于原型是一种概括表征，这种比较不要求严格的准确匹配，而只需近似的匹配即可。当刺激与某一原型有最近似的匹配，即可将该刺激纳入此原型所代表的范畴，从而得到识别。
所以，即使某一范畴的个体之间存在着外形、大小等方面的差异，所有这些个体都可与原型相匹配而得到识别。这就意味着，只要存在相应的原型，新的、不熟悉的模式也是可以识别的。这样，原型匹配模式不仅可以减轻记忆的负担，而且也使人的模式识别更加灵活，更能适应环境的变化。
该模型认为：模式识别的基本过程就是通过将当前刺激与记忆中的有关原型进行匹配，从而获得当前刺激意义的过程。原型不是事物的复本，而是事物概括性特征及其关系。
12.4最优（贝叶斯）统计分类器+

贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。
它的设计方法是一种最基本的统计分类方法。
其分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
12.5神经网络与深度学习基础+

神经网络：
神经网络，顾名思义，就是由神经元之间互相交流，从而形成的一个网络结构。在计算机出现之后，神经网络特指利用计算机模拟人类脑神经工作的算法。
神经网络就是通过神经元之间不断更新自我以及彼此之间的联系，使计算机能够更加灵活的学习。


深度学习：一组强大的神经网络学习技术。
12.6深度卷积神经网络+

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” 。
卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。


1.（2022-1-6）CNN（卷积神经网络）和传统机器学习在图像识别中的优缺点。
通过实验数据对比分析可知，在小样本数据分类上,机器学习在图像分类识别上具有简单高效的优点，并能解决高像素图片的快速分类识别。在大样本数据.上，深度学习模型能进行精准的分类识别，并且具备较强的鲁棒性。在传统机器学习模块中，贝叶斯分类器模型能够快速的做出判断，但不具备较好的分类能力;SVM具备较强分类能力,但计算耗时。深度学习中卷积神经网络具备较好的提取图像特征的能力，但模型训练复杂度较高;递归神经网络在图像分类识别方面明显低于卷积神经网络,但更适合处理序列问题。在小规模数据集上传统的机器学习模型更具备分类优势,在大规模数据以及识别精度上，深度学习模型更具备更好的能力。
深度卷积神经网络(CNN) : CNN是一种带有卷积结构的前馈神经网络，卷积结构可以减少深层网络占用的内存量，其中三个关键操作——局部感受野、权值共享、池化层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
主要结构:输入层、隐藏层(卷积层，卷积参数、激活函数、池化层、全连接层)、输出层
Ch13综合知识

• （2019-7）对一个齿轮（图中给出了齿轮的图片，还给出了想要提取的齿轮轮廓的图片）并说明齿轮图片中可能含有高斯噪声或椒盐噪声，提出一种二值化方式提取出连续没有噪声的齿轮轮廓。
  分析：学长当时自己的答题思路是先滤波再考虑分水岭算法。（无标准答案，合理即可）
  答案：①直接使用修正的阿尔法均值滤波器；②采用梯度或拉氏运算进行边缘改进的全局阈值分割进行二值化；③进行图像闭运算，使可能的裂缝连接。
  1-1（2021-9）（期末试题）用图像处理的原理设计系统，分析木材的年轮结构。
  
  
  • 获得彩色木材年轮图像。
    
  • 灰度木材年轮图像。
    
  • 灰度拉伸以增强对比度。
    
  • 阈值判定法二值化图像。
    
  • 图像的梯度锐化。
    
  • 对图像进行自定义模板中值滤波以去除噪声。
    
  • 用梯度算子对木材年轮圈进行定位。
    
  
  

10)图片二值化。
11)利用边界描述子对木材的年轮结构进行识别。
1-2红果研期末试题p36
1-2-1给出生猪的尺寸和形貌检测系统。

• 获得彩色生猪图像。
  
• 灰度生猪图像。
  
• 图像的灰度拉伸，以增强对比度。
  
• 阈值判定法二值化图像。
  
• 图像的梯度锐化。
  
• 对图像进行自定义模板中值滤波以去除噪声。
  
• 用梯度算子对生猪区域的定位。
  
• 利用hough变换截下生猪区域的图片。
  
• 生猪图片几何位置调整。
  
• 生猪图片二值化。
  
• 利用边界描述子对生猪尺寸和形貌的识别。
  

第二种答案: (类似牌照检测系统)

• 第一步定位牌照
  由图像采集部件采集生猪的外形图像并将图像存储在存储器中，其特征在于:数字处理器由存储器中读入并运行用于生猪外形尺寸检测的动态检测软件、从存储器中依次读入两幅生猪外形图像数据，经过对生猪外形图像分析可得到生猪的高度，宽度和长度数据即生猪的外形尺寸
  通过高通滤波，得到所有的边
  对边缘细化(但要保持连通关系)，找出所有封闭的边缘
  对封闭边缘求多边形逼近
  在逼近后的所有多边形中，找出尺寸与生猪大小相同的多边形。生猪形
  貌被定位。
  
• 第二步识别
  

区域中的细化后的图形对象，计算傅里叶描述子，用预先定义好的决策函数，对描述子进行计算，对生猪尺寸和形貌的识别。
1-2-2设计雪花检测系统。

• 获得彩色雪花图像。
  
• 灰度雪花图像。
  
• 图像的灰度拉伸，以增强对比度。
  
• 阈值判定法二值化图像。
  
• 图像的梯度锐化。
  
• 对图像进行自定义模板中值滤波以去除噪声。
  
• 用梯度算子对雪花区域的定位。
  
• 利用hough变换截下雪花区域的图片。
  
• 雪花图片几何位置调整。
  
• 雪花图片二值化。
  
• 利用边界描述子对雪花形状的识别。
  

1-3（2022-9）一种有两种类型的细胞图片(很多张)，外部形状比较规则偏圆形，另-种细胞位于图像中间，形状没那么圆，比较偏，它的周围有突刺，要自己设计算法将这个两种细胞分开来要求不能使用深度学习训练法。

• 首先对一张图片用可变阈值分割，将两类细胞分开来。
  
• 然后用区域填充计算每个细胞的像素，并记录如N1, N2。
  
• 将后面的图片按照之前的处理，最后算出各细胞像素Nn与NI,N2比较,差值越小的即为同类细胞(建议自行设计)。
  

2.（2019-10）使用二维高斯滤波函数，设计一个自适应算法，滤波的同时可以增强图像的轮廓。
考察：高斯滤波函数、自适应滤波器（5.3.3）；
网上有较多关于二维高斯滤波函数自适应设计方法的论文，阅读总结。
均值为0，方差为σ2的二维高斯函数为


其中σ2对于高斯模板的权值影响很大，σ2太小，则非中心像素点的权重很小，滤波过程中邻域的作用几乎被忽略，达不到去噪效果；若是σ2太大则容易造成图像细节的丢失，故选取合适的σ2和模板大小n可以对图像像素进行去噪的同时保留其细节信息。
通过计算某一区域的方差D的大小，判断像素点的离散程度：若D值较大，则选取σ2较小、n较小的高斯模板；若D值较小，则选取σ2较大、n较大的高斯模板。
3.（2018-8）给出一个二维高斯型的图像，对其进行分析（参考p456知识，新题，记忆不清）
4.（2014-10，2018-10）从大雾灰暗天气下拍摄的汽车尾部图片中，实现汽车牌照的定位和号码的提取。（给出设计思想即可）。
（2015-10）请利用你所学过的图像处理和分析方法，设计一个基本的流程，从大雾且有彩灯照耀的街景下拍摄的广告牌图片中，实现红色手机号码(阿拉伯数字形式)的定位和号码的提取。(给出设计思想即可)
分析:抓住关键点

• 大雾且有彩灯照耀(可以考虑同态滤波或者直方图均衡化)
  
• 广告牌图片(考虑一般情况，可以认为是矩形)
  
• 红色手机数字(不建议图像灰度化)
  

思路(仅供参考) :
1）、使用同态滤波消除一些灯光照耀 造成的失真
2）、使用直方图均衡化拉伸整幅图像的灰度级，提高图像的对比度。
3）、使用锐化算子(梯度算子，边缘检测算子)得到增强的边缘图像
4）、使用霍夫变换对上一步的图像进行矩形逼近，通过修改相关参数来最终定位并裁剪广告牌。
5）、确定一个红色像素阈值x，对于裁剪的图像中R通道的像素点小于x的改为像素0,大于x的改为1，其中x可以根据效果进行调整，则会得到一副二值图像，且1像素点的位置表示手机号码。
6）、最后使用深度学习算法对上一步的二值图进行识别
5.（2016-10）（2020-2-8）有一幅室内场景的图像，由于灯光（只有一个）是有色的（即灯光不是白色的），造成图像颜色失真。同时由于阴影的原因，造成图像存在局部过亮和过暗区域，这些区域有细节存在但人眼难以分辨。请你利用所学过的图像处理和分析方法，设计一个基本的流程，尽可能地消除图像色偏、提高图像地视觉效果。（给出设计思路即可，不允许使用直方图均衡的方法）
简要思路：
①将图像灰度化便于后续处理。
②对较暗的区域进行对数变换，较亮区域进行反对数变换以此解决局部过暗或过亮的问题。
③将图像进行伪彩色图像处理，以此解决单色光照失真的问题。
6.（2009-3、2005-3、2002-3-2）用模板


对图像进行处理，其中α≥0，β≥0
(1)、对应的二维数字滤波器的频率响应是怎样的?
(2)、它的最大值是多少，在何处?
(3)、它的最小值是多少，在何处?
(4)、要处理前后图像平均灰度不变，α、β应满足什么条件?
(5)、是高通滤波器类型还是其它类型?


7.画出灰度图像、计算熵、求综合光密度和方差、用剪裁法限定灰度范围。①2005-4；（大纲不要求）
8.（2004-6）




9.（2003-1-3）边缘检测算子、图像平滑算子及图像锐化算子的区别是什么。
边缘检测算子的模板系数和为0，是为了检测出图像梯度值最大的部分，即边界。
图像平滑算子和图像锐化算子的模板系数和为1,因为其操作不能改变图像的平均灰度值。前者去除高频成分，保留低频成分；后者提升高频成分，去除低
频成分。
10.（2002-3-6）6试求对下图所示图像用拉普拉斯算子进行边缘检测运算所得的|▽2f|图。并由此结果讨论拉普拉斯算子对不同方向的边缘、线条及孤立噪声点的响应。


答：


拉普拉斯算子对孤立噪声点的响应是对阶跃边缘的响应的四倍，对单象素线条的响应是对阶跃边缘响应的两倍,对线端及斜向边缘的响应大于垂直及水平走向边缘的响应。