数图笔记

Chapter 2. 数字图像基础

视觉：①由锥状体和杆状体组成。锥状体数目6-7百万，对色彩敏感，分布于视网膜中央凹部分，称为白昼视觉。杆状体7500-15000万，不如锥状体灵敏，没有彩色感觉，在低照明度下对图像较敏感，称为夜视觉或暗视觉。②分辨细节的基本能力：每平方毫米150，000个像素，最高敏感区(中间凹)的接收阵列近似为1.5mm×1.5mm，锥状体数量为337000个。③物体由远至近，焦距由17mm向14mm变化，晶状体的折射能力也由弱变强。当物体远于超过3米时，折射能力最弱，故远处物体的细节难以分辨。④当眼睛扫视图像时，平均背景在变化，眼睛也会根据这种变化作调整，最后结果是眼睛能够辨别很宽的全部强度范围。⑤韦伯比: 用于度量人的眼睛特定的适应级别对亮度变化的辨别力 ΔIc/IDelta I_c/IΔIc​/I。⑥偏爱曲线，人眼对灰度分辨率的敏感程度和图像内容的复杂程度相关，要达到同样的图像质量感受，细节更多的图片只要更少的灰度分辨率。

图像：① “欠调”（Undershoot）和“过调”（Overshoot），同时对比现象，视觉错觉。②λ(波长) = c(光速 2.998×10^8m/s) / ν(频率)，E=h(普朗克常数)v。③于描绘彩色光源的质量的基本量：发光强度（从光源流出的能量）、光通量（观察者从光源感受的能量）、亮度（光感受的主观描绘）。④ 用二维函数的形式表示一幅单色图像：f(x,y)=i(x,y)r(x,y)，0<i(x,y)<∞，称为入射分量，0<r(x,y)<1，称为反射分量。⑤图像数字化=取样+量化，可以用二维矩阵表示，矩阵中的每个元素称为图像的“像素”。每个像素都有它自己的“位置”和“值”。⑦灰度一般是2的整数幂。⑧空间分辨率、灰度分辨率。

像素：①N4(p)N_4(p)N4​(p)：p的4邻域，ND(p)N_D(p)ND​(p)：p的对角邻域，N4(p)N_4(p)N4​(p)+ND(p)N_D(p)ND​(p)=N8(p)N_8(p)N8​(p)：p的8邻域。②邻接性：灰度邻接性（像素值相同）+位置连接性。4邻接，8邻接，m邻接：(j)q在N4(p)N_4(p)N4​(p)中 (ii) q在ND(p)N_D(p)ND​(p)中，且集合KaTeX parse error: Undefined control sequence: and at position 8: N_4(p) ̲a̲n̲d̲ ̲N_D(p)中没有V值的像素。③近邻差值，双线性差值(v(x,y)=ax+by+cxy+d)。

线性操作：H[a1f1(x,y)+a2f2(x,y)]=a1H[f1(x,y)]+a2H[f2(x,y)]H[a_1f_1(x,y)+a_2f_2(x,y)] = a_1H[f_1(x,y)]+a_2H[f_2(x,y)]H[a1​f1​(x,y)+a2​f2​(x,y)]=a1​H[f1​(x,y)]+a2​H[f2​(x,y)]，则称H为线性算子。

Chapter 3. 灰度变换与空间滤波

引言：图像增强包括光滑、锐化、提取边缘、反转、去噪以及各种滤波等等处理。图像增强共有两大类算法：空间域和频率域。空间域处理分灰度变换、空间滤波两类。

空间域图像增强：g(x,y)=T(f(x,y))，T为算子，定义域为(x,y)的某个邻域，当这个邻域是一个点时，称作是灰度变换，s=T®。

基本的灰度变换：线形（反转变换：s=L-1-r）、对数(s=clog(1+r))、幂次(s=crγs=cr^{gamma}s=crγ)。幂次：图像设备的响应输出就对应一个幂函数，纠正这个幂次响应的处理成为伽马矫正，用于精确显示图像、调整图像对比度。线性：分段线性变换、灰度切割（灰度级分层用以提高特定灰度的亮度）、位图切割（比特层面分层）。

直方图：h(rk)=nkh(r_k)=n_kh(rk​)=nk​，归一化后，P(rk)=nknP(r_k)=frac{n_k}{n}P(rk​)=nnk​​。直方图均衡：寻求变换s=T®，使得变换后的图像有均匀的直方图。T®满足的条件：(a)r[0,L-1]单调递增(b)r[0,L-1]，T[0,L-1]。连续直方图均衡：

离散直方图均衡：。具体步骤：(1)算概率p；(2)算累积分布函数P；(3)根据公式变换；(4)四舍五入。直方图用于图像增强的特点：自动化、适应性强。问题：“灰度跳跃”：如果某个灰度的比例原始图像中的级别相当大，会出现图像中两个相邻灰度级之间存在较大差异，使得图像效果差。原因：离散情形无法得到类似连续情形的理论结果。

直方图匹配（使输出图像有指定的直方图）：HA→HCH_A rightarrow H_CHA​→HC​。

连续：(1) 对A作直方图均衡：；
(2)对C同理：；
(3)得到理论上的变换公式：。

离散：(1)
(2)
(3)

(4) 具体实现，寻找区间[0，L-1]的最小整数z^hat{z}z^，使得 G(z^−sk)>=0G(hat{z}-s_k)>=0G(z^−sk​)>=0

在图像增强中使用直方图统计：r的第n阶中心距为 μ(r)=∑i=0L−1(ri−m)np(ri)mu (r)=sum^{L-1}_{i=0}(r_i -m)^n p(r_i)μ(r)=∑i=0L−1​(ri​−m)np(ri​) ，m为均值，二阶中心矩为方差。

空间滤波基础。图像减法的主要作用是增强两幅图之间的差异，如掩膜式X光成像法。图像平均处理：对于g(x,y)=f(x,y)+$\eta$(x,y)，对K幅带随机噪音的图像求平均。E[g‾overline{g}g​(x,y)]=E[f(x,y)]，σg‾(x,y)2=1Kσn(x,y)2sigma_{overline{g}(x,y)}^{2} = frac{1}{K} sigma_{n(x,y)}^{2}σg​(x,y)2​=K1​σn(x,y)2​。

空间相关与卷积。一个M x N的滤波器w(x,y)与图像f(x, y)的相关操作定义为：

一个M x N的滤波器w(x,y)与图像f(x, y)的卷积定义为：

空间滤波对边界的处理方法：重复边沿值；卷绕输入图像；补零；忽略（3×3在边角当成2×2的）。

平滑空间滤波器：去除噪声/细节，提取大目标。分为线性、非线性。一般公式：

统计排序滤波器：非线性、非卷积，有中值滤波，最大值滤波，最小值滤波。中值类似均值，但在衰减噪声的同时不使边界模糊。第X百分点滤波器：X<50，趋向于图像变暗。

空间锐化滤波器：突出图像中的细节，平滑为积分，反之锐化为微分。一阶微分：∂f∂x=f(x+1)−f(x)。frac{partial f}{partial x} = f(x+1)-f(x)。∂x∂f​=f(x+1)−f(x)。 二阶微分：∂2f∂x2=f(x+1)+f(x−1)−2f(x)。frac{partial ^2f}{partial x^2} = f(x+1)+f(x-1)-2f(x)。∂x2∂2f​=f(x+1)+f(x−1)−2f(x)。

一阶微分产生较“宽”的边界，二阶微分产生较“细”的边界；二阶微分处理对细节有较强的响应，如细线和孤立点；一阶微分对阶梯状的灰度变化有较强的响应；二阶微分在处理阶梯状灰度变化时产生双响应；如果灰度的变化相似，二阶微分对线的反应比对阶梯强，对点的反应比对线强。

拉普拉斯算子：$bigtriangledown ^2f=frac{partial ^2f}{partial x^2}+frac{partial ^2f}{partial y^2} $，$frac{partial ^2f}{partial x^2} = f(x+1,y)+f(x-1,y)-2f(x,y)$，$frac{partial ^2f}{partial x^2} = f(x,y+1)+f(x,y-1)-2f(x,y)。$ g(x,y)=f(x,y)−▽2fg(x,y)=f(x,y)-bigtriangledown ^2fg(x,y)=f(x,y)−▽2f，当拉普拉斯滤波中心系数为负。

非锐化掩膜一般公式：fS(x,y)=f(x,y)−f‾(x,y)f_S(x,y)=f(x,y)-overline{f}(x,y)fS​(x,y)=f(x,y)−f​(x,y)。

高提升滤波处理：fhb=A(x,y)−f‾(x,y)=(A−1)f(x,y)+f(x,y),A>1f_{hb}=A(x,y)-overline{f}(x,y)=(A-1)f(x,y)+f(x,y),A>1fhb​=A(x,y)−f​(x,y)=(A−1)f(x,y)+f(x,y),A>1。拉普拉斯算子的高提升滤波：g(x,y)=Af(x,y)−▽2fg(x,y)=Af(x,y)-bigtriangledown ^2fg(x,y)=Af(x,y)−▽2f。

基于一阶微分的图像增强：▽f≈∣Gx∣+∣Gy∣bigtriangledown f approx |G_x|+|G_y|▽f≈∣Gx​∣+∣Gy​∣。Robert算子：Gx=(z9−z5),G(y)=z8−z6G_x=(z_9-z_5),G_(y)=z_8-z_6Gx​=(z9​−z5​),G(​y)=z8​−z6​。Sobel算子：Gx=(z7+2z8+z9)−(z1+2z2+z3)G_x=(z_7+2z_8+z_9)-(z_1+2z_2+z_3)Gx​=(z7​+2z8​+z9​)−(z1​+2z2​+z3​)，Gy=(z3+2z6+z9)−(z1+2z4+z7)G_y=(z_3+2z_6+z_9)-(z_1+2z_4+z_7)Gy​=(z3​+2z6​+z9​)−(z1​+2z4​+z7​)。

Chapter 4. 频律域滤波

周期函数傅里叶变换：

非周期函数傅里叶变换：

复数：C=R+jI。欧拉公式：ejθ=cosθ+jsinθe^{j theta} = costheta + j sin thetaejθ=cosθ+jsinθ。C=|C|ejθe^{jtheta}ejθ

一维连续函数傅里叶变换：，反变换：

位于t-t0冲激的傅里叶变换：

周期冲击串的傅里叶变换：

卷积： 卷积定理：

取样函数的傅里叶变换：

f‾(t)overline{f}(t)f​(t)是取样结果，但F‾(μ)overline{F}(mu)F(μ)连续。复原条件：

重建原函数：

混淆：欠取样导致混淆。不可避免，可平滑原函数减少高频来降低混淆的影响。

单变量离散傅里叶变换：

傅里叶正变换和反变换的周期为M，则存在k，满足：F($\mu$)=F($\mu$+kM)，f($x$)=f($x$+kM)。

二维取样：

二维取样定理：

图像的混淆：图像序列中的时间混淆（车轮现象），单张图像中的空间混淆（欠取样）。

二维离散变换：

F(0,0) = average(f(x,y))。图像的平均灰度。亦称直流分量。

二维离散变换性质：① ② ③ ④

平移旋转不影响幅度。P43？实函数：。虚函数：。

复数表示：。相角/相位谱：。功率谱：。。。

陷波滤波器(Notch Filter): 使得处理后的图像平均值为零, 从而图像的整体灰度降低。

平滑频律域滤波器：①理想低通滤波器：。无法硬件实现，当截止频率半径较小时，滤波模糊和振铃现象P63。②(n阶)巴特沃斯低通滤波器：。D(u,v)定义同上，比前者平滑。一阶无振铃, 二阶小振铃(√), 阶数增高振铃增大，适合需要严格控制高低频之间截止频率过渡的情况。③高斯低通滤波器：。没有振铃(正反变换不改变滤波器的正负符号)，适合用于无误差的医学图像，在同样的截止频率条件下不如2 阶BLPF的模糊效果。可用于文本修复。

频律域锐化滤波器：①三种低通取反。②频律域拉普拉斯算子：。平移后也能写成：。③频律域高提升滤波：， ，。④高频提升滤波器： ，A≥1。⑤ 高频加强滤波：。增加常数偏移a使零频率不被滤波去除掉。

同态滤波器：控制图象亮度的变化范围，增强对比度。同态滤波函数：H(u,v)。步骤：(1)lnf(x,y)=lni(x,y)+lnr(x,y)(2)F(u,v)=I(u,v)+R(u,v)(3)H(u,v)F(u,v)=H(u,v)I(u,v)+H(u,v)R(u,v)(4)hf(x,y)=hi(x,y)+hr(x,y)h_f(x,y)=h_i(x,y)+h_r(x,y)hf​(x,y)=hi​(x,y)+hr​(x,y)(5)g(x,y)=exp|hfh_fhf​(x,y)|。图象的照射分量以空间域的慢变化为特征，而反射分量往往引起突变。因此图象频谱函数的低频和高频部分分别对应照射分量和反射分量。图象的增强通常是抑制光照，增强细节特征。因此可有如下滤波器：。L<1,H>1。

傅里叶变换实现（离散）：分配性：。比例变换性：。旋转性质: x=rcosθ，y=rsinθ，u=wcosφ，v=wcosφ。，原图怎么转，谱怎么转。离散情形, 若有M = N。F(u, v) = F(u+M, v) = F(u, v+N) = F(u+M, v+N)，反变换同理。F(u, v) = F*(-u, -v)。|F(u, v)| = |F(-u, -v)|。可分性： 。前向变换计算傅里叶反变换：。周期性的更多讨论(P95)，傅里叶变换/反变换附加周期性，导致开头有数据误差结尾处出现数据丢失。怎么处理？为f(x)和h(x)做零延拓，使之有相同的周期。频率域卷积：零延拓，傅里叶变换，相乘，反变换。卷积相关理论：。快速傅里叶变换。