课程总览 Overview
-
考试风格
-
DIP 考试考察的重点是 思考过程和理解 而不是 计算/记忆（当然也会考）
-
复习的重点是上课的 Slide，一定要全部吃透，同时辅以书本加深理解
-
-
考题类型
-
选择题主要考记忆
-
简答题多写一点，基本思想和基本概念都写出来，不会做也写几笔
-
计算题计算+分析 再简单都要写过程。思考过程是怎么样，写出来就能判断学得好不好 即使不会套公式，哪怕罗列两个公式也可以，不能空
-
编程题MatLab 或者 Python 都可以，但不用过多注重语言的准确性
-
-
知识网络
-
一、绪论 Introduction
考查点：
主要考查一些基本的数字图像处理过程等知识（拿出去可以吹牛的知识）
包括基本的应用，生活中的数字图像处理的常识，比如CT到底用哪个光谱、波长的波
-
什么是数字图像处理？
-
数字图像数字图像都是对真实场景的近似
-
数字图像处理的两个主要任务增强图像信息，便于人类理解图像 处理图像使其更便于存储、传输、被传感器处理...
-
-
数字图像系统的基本应用
-
Gamma-Ray 伽马射线
-
天文观测
-
核医学使用放射性同位素释放出gamma射线，使其穿透人体，使之因为不同的身体结构发生不同的衰减，并用gamma射线检测器接收穿透出来的射线
-
-
X-Ray X射线将物体放在X射线源和感光胶片之间，X射线的强度会在穿透物体时因为被吸收而发生改变 CT和X光机 都是通过X射线的照射而成像
-
医学诊断血管照相术（X射线造影剂注入导管进入血管）等
-
工业探查制造缺陷，元件缺失、断线等
-
-
Ultraviolet 紫外线
-
光刻（平版印刷）
-
工业检查
-
显微镜
-
生物成像
-
天文观测
-
-
Visibleand Infrared Bands Imaging 可见光和红外波段成像
-
Imagingin the microwave band 微波波段的成像主要应用是雷达 雷达可以不受天气和环境光照条件的影响而获得图像 雷达波可以穿透云层，看穿植被、冰层和干沙
-
Imagingin the radio band 无线电波段的成像用于医学和天文学（很像伽马射线） 在医学上，无线电波被用于核磁共振成像（MRI）
-
其他影像模式
-
Acoustic imaging 声学成像
-
Electronic microscopy 电子显微镜
-
Synthetic (computer-generated) imaging 合成（计算机生成）成像
-
-
-
数字图像系统的构成图像传感器：物理设备（对目标辐射能量敏感的器件） 专用图像处理硬件：执行原始操作的硬件（如ALU）+数字化器（将物理感知装置的输出转化为数字形式） 计算机：通用计算机 图像处理软件：执行特定任务的专用模块 大容量存储：1. 短期存储 计算机内存或者专用的存储版（称为帧缓存） 2. 关系到快速调用的在线存储 3.档案存储 图像显示器：彩色电视监视器 硬拷贝设备：激光打印机、胶片相机、热敏装置 网络：主要问题是带宽
-
二、数字图像基础 Digital Image Fundamentals
考查点：
图像的取样和量化的基本步骤是很重要的
成像原理、视觉感知（感光细胞，杆状和锥状细胞最基本的要了解）也是考察范围
-
光和电磁波谱
-
-
图像感知和获取
-
使用单个传感器
-
使用条带传感器
-
使用传感器阵列（如CCD阵列）
-
-
取样和量化（重要）一幅图像的x和y坐标，以及幅度可能都是连续的 - 对坐标值进行数字化是取样 - 对幅值数字化是量化
-
空间分辨率- 空间分辨率是由取样的方式来决定 - DPI（dots per inch）是衡量空间分辨率的指标“
-
图像内插
-
最近邻插值直接找最近的填空值
-
双线性插值
-
-
双三次插值
-
-
视觉感知/感光细胞
-
cone cell 锥状细胞对颜色高度敏感，主要集中在视网膜的中央部分，可以充分辨认图像的细节，被称为白昼视觉或亮视觉 人眼视网膜中的三类感色锥体，大致对应红、绿、蓝敏感探测器。
-
-
rod cell 杆状细胞杆状细胞数量多余锥状细胞，没有彩色视觉，但是对低照明敏感（如白天色彩鲜明的物体在月光下没有颜色，因为只有杆状细胞在工作），被称为暗视觉或微光视觉 杆状细胞与三种锥状细胞的比较，灰色的虚线曲线是指杆状细胞
-
-
人眼中细胞的分布
-
-
三、灰度变换与空间滤波 Intensity Transformation and Spatial Filtering
考查点：
最基本的空间滤波和卷积是怎么做的（需要会计算）
图像增强的目的有：
1. 突出需要关注的部分
2. 降噪
3. 使得图片看起来更好看
-
基本的灰度变换函数了解分别实现什么功能，变换后的效果是什么样的
-
Negatives在图像的黑色部分占了大多数，而需要关注的白色/灰色部分嵌在了黑色部分里时，增强其灰白部分的细节
-
-
Thresholding从背景中分割出需要关注的物体
-
-
Log Transformation展开暗部像素值（使暗部细节更清晰，看清楚暗的部分），压缩亮部像素值
-
-
Gamma Transformation小于1的γ值，使得原本范围狭窄的较暗像素的灰度变宽。 小于1的γ相当于看清楚暗的，而大于1的γ可以看清楚亮的
-
-
Another Contrast Stretching Function
-
-
Piece-wise Linear Transformations优点：可以任意复杂（一些重要的实际实现可仅由分段函数来明确表达） 缺点：需要用户输入
-
Contrast Stretching扩展图像灰度级的动态范围，使其可以布满显示装置的全部灰度范围
-
-
Intensity-level Slicing突出图像中特定灰度范围的亮度（可以用于增强特征，如卫星图像中的水/X射线图像中的缺陷）
-
-
Bit-plane slicing8比特图像可以考虑为8个1比特平面组成（平面7为最高阶的平面，平面0为最低的） - 更高阶的比特平面含有大多数重要的视觉信息 - 更低阶的比特平面含有更多细节信息 - 把图像分解到不同的比特平面可以用于分析量化该图像的比特数是否充足，以及每个比特的相对重要性 - 比特平面可以用于压缩图像（只保留最高阶的n个平面）
-
-
-
-
直方图处理
-
直方图概念直方图是一个全局描述符（PDF的近似），不反映任何结构信息，两个完全不同的图像可以有相同的直方图 直方图均衡（HE）的动机：增强对比度（占满整个可行的灰度级且分布均匀的图像，会有更高的对比度） 直方图均衡是自动的过程，是没有参数的
-
直方图均衡（直方图均衡是重点，需要会计算）直方图均衡计算中近似时用“四舍五入”
-
-
-
空间滤波
-
卷积（Convlution）和相关（Correlation）的计算（重点，需要会计算）
-
-
滤波器
-
平滑空间滤波器
-
均值滤波（线性）
-
高斯滤波（线性）1. 经验法则：将滤波器半径设置为 3σ 左右效果比较好 2. 高斯滤波器是低通滤波器，可以去除高频部分 3. 和自己卷积会形成另外一个高斯滤波器 4. 可以分离为两个1-D高斯滤波器
-
-
中值滤波（非线性）用一个像素附近像素的强度值中位数代替该像素的值。 可以用于消除 椒盐噪声
-
-
锐化空间滤波器
-
拉普拉斯算子如果使用的是中心系数为负的拉普拉斯算子，那么必须将原图像减去经过变换后的图像而不是加上 为什么使用二阶？ 数字图像中的边缘在灰度上常常类似于斜坡过渡，这样就导致图像的一阶微分会产生较粗的边缘，因为沿着斜坡的微分非零。而与此同时，二阶微分产生有零分开的一个像素宽的双边缘，在处理细节上比一阶好很多。
-
-
旋转不变性
-
-
-
-
四、频率域滤波 Filtering in the Frequency Domain
这一部分是区分度最大的
考查点：
傅里叶变换是必考的，要能进行简单的计算
二维的傅里叶变换的计算，最基本的套公式一定要会
如何通过FFT和DFT来实现空域滤波
傅里叶变换的基本计算是什么？
什么是线性算子什么是非线性算子？应该如何判断（有公式）？
为什么需要 频域处理/频域滤波器 来处理空域滤波？
-
区分是否线性算子（重要）
-
-
从傅里叶级数到傅里叶变换
-
傅里叶级数只能提取周期性函数
-
从傅里叶级数推到傅里叶变换使用欧拉公式，再将周期函数拓展到所有函数（周期取无穷大）
-
-
将角频率更换为频率表示（u表示频率，单位hz）
-
-
傅里叶变换相关概念
-
复数形式
-
-
极坐标形式以及能量谱的概念
-
-
-
-
傅里叶变换性质
-
对称性
-
-
傅里叶变换的简单计算（重要，一定会考）
-
Dirac delta function
-
-
f(t)=1
-
-
e^jat
-
-
sin(at)
-
-
cos(at)
-
-
-
为什么需要傅里叶变换？
-
从频域观察图像（可以进一步进行降噪等）
-
可以使用傅里叶变换（FFT）来更快地进行卷积
-
-
卷积定理
-
-
-
离散傅里叶变换
-
可视化时将低频部分移动到中心原理是周期性和平移
-
-
平移和旋转谱对平移不敏感（指数的绝对值是1），对于旋转敏感
-
-
-
频域滤波
-
频域滤波基础如果filter kernel较小，则更适合使用空域滤波；如果filter kernel较大，则更适合使用频域滤波
-
步骤（重要）* padding 两倍是为了防止缠绕错误，补0引入了不连续性，会导致振铃现象
-
-
-
使用频域滤波器平滑图像边缘以及其他的尖锐灰度值变化都对应着高频率的部分
-
Ideal 理想低通滤波器实践中很少使用，缺点是过滤结果会有明显的环状伪影
-
-
Butterworth 布特沃斯低通滤波器其中D0是cutoff radius（截止半径），即从最大值下降50%的位置 n大，巴特沃斯滤波器接近于理想滤波器；n小，则接近于高斯滤波器。
-
-
Gaussian 高斯低通滤波器相当于去掉系数的高斯函数 应用举例：链接断开的字符、去除人脸瑕疵
-
-
-
使用频域滤波器锐化图像
-
-
FFT 快速傅里叶变换是基于傅里叶的级数能流行起来的主要原因 使得傅里叶变换能在可以接受的时间内运算出结果 减少了100-600倍运算的时间
-
空域滤波和频域滤波可以完成相似的工作 空域滤波更容易理解且更简单 频域滤波是更快更高效的，尤其是对于比较大的图片
-
五、图像复原与重建 Image Restoration
考查点：
图像退化的过程
掌握最基本的滤波器，特别是 非线性滤波器
了解每一种滤波器适合哪一种噪声类型
什么是线性算子什么是非线性算子？应该如何判断（有公式）？
-
什么是图像复原图像增强是一个主观过程，图像复原“大部分”是一个客观过程 复原技术是面向退化模型的，并且使用相反的过程进行处理，使用退化现象的某种先验知识来复原被退化的图像 增强技术是一个探索性过程，是使得图像更适合人类视觉系统进行观察
-
退化/复原过程建模* 空域内卷积等于频域相乘 * 只考虑加性噪声，假设H是一个 同一性算子，退化过程可以简化为最后一个式子
-
-
噪声模型噪声来源：噪声是在 图像采集（数字化）和传输过程中产生的。 成像传感器会受到环境条件的影响 在传输过程中，干扰被加到图像中
-
加性噪声滤波器
-
均值滤波器
-
Arithmetic mean filter 算术均值滤波模糊了结果，但是降低了噪声 计算领域的均值
-
-
Geometric mean filter 几何均值滤波丢失的细节比算术平均滤波要少
-
-
Harmonic mean filter 谐波均值滤波器对 盐粒 噪声效果好，但不适用于 胡椒 噪声 善于处理 高斯 噪声
-
-
Contraharmonic mean filter 逆谐波均值滤波器适合处理 椒盐 噪声（Q值为滤波器的阶数，Q为正时消除 胡椒 噪声，Q为负时消除 盐粒 噪声） Q为0时就是算术均值滤波器，Q为-1时就是谐波均值滤波器
-
-
-
统计排序滤波器（非线性，重点）
-
Median filter 中值滤波器相比同尺寸线性滤波器而言模糊更少 对 椒盐 噪声尤其有效
-
-
Max and min filter 最大值/最小值滤波器最大值滤波器适合处理 胡椒 噪声 最小值滤波器适合处理 盐粒 噪声
-
-
Midpoint filter 中点滤波器适合处理随机分布的噪声，如 高斯噪声 和 均匀噪声
-
-
Alpha trimmed mean filter 修正的 Alpha 均值滤波器（其实只是一个去掉了最高 d/2 和最低的 d/2 灰度值的算数均值滤波.. 话说d=mn-1时就变成了中值滤波） 适合在 包括多种噪声 的情况下使用
-
-
Adaptive filter 自适应滤波器核心是 滤波器大小 会根据图像的特性进行改变
-
自适应滤波的三个目的1. 去除脉冲噪声 2. 平滑其他噪声 3. 减少图像失真（主要是减少模糊）
-
算法逻辑（重要，可能会出编程题）
-
-
-
-
-
周期噪声滤波器在傅里叶变换中，周期噪声在对应的周期干扰频率处，会以集中的能量脉冲形式出现。
-
Selective filter 选择性滤波器
-
Low pass filter 低通滤波器
-
-
Bandreject filters 带阻滤波器去除某一特定频率范围的成分
-
Ideal 理想
-
-
Butterworth 布特沃斯
-
-
Gaussian 高斯
-
-
-
Bandpass filters 带通滤波器只有特定频率范围的成分可以留下 其实就是用1减去带阻滤波器
-
Ideal 理想
-
-
Butterworth 布特沃斯
-
-
Gaussian 高斯
-
-
-
Notch filters 陷波滤波器是 “最有用” 的选择性滤波器 陷波滤波器阻止（或通过）事先定义的中心频率的邻域内的频率 为了使得陷波滤波器有效，由于傅里叶变换的对称性，陷波滤波器必须以以 关于原点对称的形式 出现（除非在原点，在原点时陷波滤波器就是其本身）
-
形式一个中心从原点移动到陷波处的 高通 滤波器 k是陷波滤波器的pair数
-
-
示意图
-
-
-
-
选择性滤波过程
-
-
六、图像分割 Image Segmentation
Hough变换的基本思想和基本原理是什么？
-
基础知识
-
三种“不连续”点、线、边
-
-
孤立点检测经过拉普拉斯算子后阈值超过T的像素，标记为分割
-
-
边缘检测边缘是图像函数发生剧烈变化的地方
-
为什么边缘很有用？1. 神经学和心理学的研究指出图像中突变的地方对于图像的感知是很重要的 2. 边缘检测将导致图像数据的减少，但是在大多数情况下不影响对图像内容的理解
-
形成边缘的原因1. 深度不连续 - 表面之间的遮挡 2. 表面朝向不连续 - 方块的边缘 3. 反射的不连续 - 材质或者颜色的变化 4. 照明的不连续 - 影子
-
边缘检测的三个基本步骤
-
1. 图像平滑、降噪基于领域差值的滤波器对于噪音很敏感，因为噪音往往和周围的像素点差别很大，而且噪音越大影响也就越大。所以，平滑图像进行降噪能够有效果，使得和领域像素差距很大的像素（可能是噪音）变得和周围像素更像。
-
性质
-
-
-
2. 找到边缘点（提取出所有潜在的 edge points）检测灰度变化使用一阶导数和二阶导数来实现，此处使用 图像梯度 作为工具。 - 任意一点（x,y）处的边缘方向与该点处梯度向量的方向 a（x,y）正交。 - 沿着垂直边缘的方向寻找梯度幅度最大的点
-
Sobel 算子
-
-
Prewitt 算子
-
-
-
3. 边缘定位（从候选点的集合中选出真正组成边缘的点）
-
-
Marr-Hildreth Edge Detector其实就是 Zero-crossing of LoG 我们可以使用拉普拉斯算子在2D平面上获得二阶导，但是拉普拉斯算子对噪音很敏感，所以我们需要先使用一次高斯滤波（这也就是 LoG，组合了高斯和拉普拉斯） 步骤： 1. 使用高斯对输入图像进行滤波 2. 使用拉普拉斯算子获得二阶导 3. 从步骤2的结果中找到所有的零交叉点（Zero-Crossing） * 步骤1和步骤2可以组合成为 LoG
-
原理边缘就是一阶导的极限点，也就是二阶导的零交叉点
-
-
使用 DoG 近似标准差1：标准差2= 1.6 ：1 时候近似 LoG 的效果最好
-
-
-
Canny Edge Detection虽然更复杂，但是性能优于前面的几个边缘检测算法 步骤： 1. 使用高斯滤波器进行平滑 2. 计算梯度的幅度图和角度图 3. 对梯度幅度图进行非最大值抑制 * 即检查（i,j）梯度幅度值是否沿梯度方向的局部最大值 4. 使用双重阈值和连通性分析来检测和连接边缘
-
非极大值抑制 Non-maxima suppression（重要，可能会出编程题）
-
-
-
-
基于阈值的分割直观、简单、速度快
-
基础知识灰度阈值是否成功和与直方图模式的谷的深度和宽度有关，具体是： 1. 波峰间的间隔（间隔的越远越好） 2. 噪声内容（越少越好，少的噪声可以使得模式变窄） 3. 光源的均匀性 4. 图像反射特性的均匀性
-
基本的全局阈值处理效果取决于是否有一个足够清晰的波谷
-
伪代码（重要，可能会出编程题）思想：取一个阈值，分出两堆像素，取这两堆像素的平均值m1,m2，新的阈值是（m1+m2）/2
-
-
-
Otsu方法的最佳全局阈值处理穷举K使类间方差最大化 两个均值彼此隔得越远，类间方差越大，类之间的可分性越强
-
-
可变阈值处理每一个像素有一个自己的阈值，通过计算领域信息得到
-
基于局部图像特性的可变阈值计算（x,y）领域内的像素的标准差和平均值，其中a，b均为非负常数
-
-
滑动平均阈值处理用于Z型扫描图片（尤其是 文档类图片），对于每个像素，计算扫描前n个像素的平均灰度值作为其阈值 当需要足够快的 速度 时候会很合适，处理光照偏差
-
-
-
-
通过Hough变换进行分析元素检测
-
基本思想对于每一个特征点进行多次投票，参数空间中投票最多的极值点就是要求的曲线参数
-
基本原理
-
-
伪代码（重要，可能会考编程题）
-
算法框架（二维）
-
-
结合图像梯度（二维）
-
-
算法框架（三维）
-
-
-
评价
-
优点
-
可以处理 occlusion 和 non-locality 的情况
-
可以检测一个模型的多个实例
-
对噪声有一定的鲁棒性噪声点不太可能对同一种模式有一直的贡献
-
-
缺点
-
搜索时间的复杂度随着模型参数的数量呈指数级增长
-
非目标形状会在参数空间中产生虚假的峰值
-
很难选择一个合适的网格大小
-
-
-
七、目标识别 Object Detection
目标识别的两个判别规则，尤其是贝叶斯规则
-
基础知识目标识别的目的：是找到所有感兴趣的物体，并确定他们的 位置 和 类别 输出：包含物体的 bounding box 和分类的置信度 优化算法目标：提高分类准确率，降低定位误差
-
模式和模式类
-
一个模式是一个向量，向量中的每个元素称为一个描述符（也就是特征）
-
-
模式类就是同一类（有相似属性的）模式
-
-
基于决策理论方法的识别
-
Matching 匹配
-
Minimum Distance Classifier 最小距离分类器
-
计算题例子（重要，可能会出计算）
-
-
-
Correlation 相关分类器一般都用归一化之后的版本，因为不归一化的话会对scale的变化非常敏感
-
例子
-
-
-
-
Optimum Statistical Classifier 优化统计分类器最后一个等号不严格相等，只是表示1/p(x)的系数不影响最后结果的次序
-
高斯模式类
-
计算题例题（重要，可能会出计算）
-
-
-
-
-
结构方法
-
匹配形状数可以保持到的最高阶数k，k越高越相似，对于相同的形状k无限大
-
-
串匹配完美匹配时R无限大
-
-
