摘要:用室外视觉系统拍摄图像时,容易受到低照度等的影响,拍摄的图像会劣化,可视性下降。 本文提出了一种基于双目立体视觉的图像增强算法。 该算法首先通过立体匹配处理求出场景的视差图像,然后构建广义双边滤波器估计图像的照度分量,根据Retinex原理求出图像的反射分量,实现图像的增强。 实验证明,该算法能有效改善图像质量,提高双目视觉系统工作的鲁棒性和可靠性。
0引言
双目立体视觉直接模拟人眼处理景色的方式,可靠性高、简单,在许多领域都很有应用价值。 例如人机交互、视频监控、智能控制、三维测量、机器人导航和航空测量、虚拟现实等。 双目立体视觉是计算机视觉的重要分支,其原理是位于不同位置的两个摄像机或一个摄像机(CCD )移动或旋转以拍摄同一场景,从两个图像中计算机空间点的视差获得该点的三维坐标值。
目前,双目立体视觉的研究主要集中在特征匹配[1-2]、摄像机标定、三维重建[3]等方面,但对图像增强领域研究较少。 在实际应用中,一般采用单一图像的图像增强算法,这种方法统一处理整个图像,没有考虑场景的景深状况,因此无法充分校正不同景深区域的对比度和颜色。
针对这个问题,本文提出了一种主要对低照度图像进行处理的基于双目立体视觉的图像增强算法。 该算法首先进行立体匹配操作,求出视差图像,通过视差图像反映场景的深度信息。 根据Retinex原理[4],将视差图像作为反映场景深度的先验信息,构建广义双边滤波估计图像的照度分量,得到包含物体自身特性的反射分量,即强调的清晰图像。 在本算法中,假设场景深度的变化主要在边缘区域,边缘区域的深度变化缓慢。 最后,实验证明了该算法利用估计的视差信息能够充分恢复不同景深的场景颜色和详细信息。
1正文算法
1.1双目立体视觉系统
双目立体视觉的基本原理是从两个视点观察同一场景,获取两个同一场景的图像,根据像素点的相似性计算并求出图像的像素间的位置偏移(视差),基于三角形法的原理确定三维空间点的深度信息,重构场景,与人的视觉的立体感知过程相似。
双目视觉系统如图1所示,焦点分别为O1和O2的两台照相机具有相同的参数性能,同时光轴相互平行,x轴相互一致,z轴与左照相机的光轴一致,两照相机的焦距都是f,其间的距离为b,I1和根据相似的三角形关系可以导出深度信息方程式:
式中,d=pl-pr是两幅图的视差,焦距f通过摄像机校准求出。
双目立体视觉系统中,立体匹配和三维重建等方面的研究最多,对图像增强方面的研究也有重要的理论和实际意义,它直接影响匹配操作的精度和速度,同时通过减弱照明条件等场景中多种因素的干扰,达到最终的三维重建目的
如从式(1)可知,通过特征性地匹配左右图像,可获得其视差信息,通过组合已知的信息b和f,可获得场景中的目标的深度。 因此,本论文假设图像中包含的视差信息很好地响应场景的深度,将视差信息作为反映场景深度的事前信息加到图像强调处理中。
1.2立体匹配
立体匹配是指寻找同一空间景色以不同视点投影的图像中的像素之间的一对一对应关系,一般包括匹配成本计算、世代价值聚合、视差计算等步骤[5-6]。 本文采用自适应的方法,结合sad(sumofabsolutedifferences )和梯度特征的相似性测度因子(6)进行匹配成本计算。 即,如下所示。
其中,x表示图像的像素,n(x )表示位于x处的33边界窗,nh ) x )是不包含最左列的边界窗,nv ) x )是不包含最下行的边界窗。
h表示水平梯度,
v表示垂直梯度。 在这种情况下,匹配成本函数可以表示如下:
其中,
如果是最佳权重,则通过使可靠的对应像素的数量最大化来决定,可靠的像素由胜者按照王(WTA )的基准滤波,式(4)是经过阈值法)6)的处理最终得到的初始视差图像是。 在视差图像的计算中,为了使其结果最佳化,需要对视差图像进行平滑操作,为了得到理想的视差图像结果d,以下使用选择模式滤波器[7]。 本文将视差图像d引入到图像增强操作中。
1.3基于re tinex原理的图像增强处理
基于Retinex理论提出的图像增强方法具有高动态范围压缩、局部对比度增强、维持图像颜色稳态等优点[4]。
Retinex理论认为,一张图片可以分为两部分。 也就是说,一张图像I可以用反射成分r和照度成分l的积表示。 也就是说,如下所示。
I (x=r ) x (l ) x ) ) (五) () ) ) ) ) ) ) ) ) ) ) ) ) )。
这里,照度分量的性质依赖于光源,决定图像动态范围的反射分量的性质依赖于成像物体的特性,主要反映了图像的详细信息。 Retinex原理的思想实际上是消除或减少照度分量的影响,得到包含更多详细信息的反射分量。 其计算过程在对数域中进行。
logr(x )=logI(x ) x ) )。
-logL(x)(6)
上述反射分量的求解在数学上是一个奇异问题,因此需要把求解问题变成约束最优化问题,通过对照度分量的准确估计进行反射分量的求解。由于照度分量具有局部平滑的性质,因此对它的估计可以看作为平滑问题,本文采用广义双边滤波求解照度分量。
双边滤波的理论是Tomasi和Manduchi[8]于1998年提出的,该理论同时考虑了空间邻近度与像素值相似度,是一种边缘保持的非迭代平滑滤波方法。本文采用的广义双边滤波则是结合了视差值相似度与像素值相似度进行平滑操作,其形式定义为:
式中,
为高斯函数,表示随着视差值差异以及灰度差值的增大,图像像素的权重逐渐减小。
公式(6)、(7)的计算需要将图像由RGB颜色空间转换到HSV(Hue,Saturation,Value)颜色空间下,仅对亮度分量进行处理,而获得的饱和分量与色调分量保持不变,在获得反射分量后,再将图像由HSV颜色空间转换到RGB颜色空间,即可获得增强后的图像。
2 实验仿真与分析
为验证本文算法的有效性,在MATLAB平台上进行图像处理实验,主要针对低照度图像进行处理。图2(a)、(b)为存在视差的参考图像;(c)为获得的初始视差图像;(d)为优化后的视差图像;(e)为图(b)的照度分量;(f)为图(b)的图像增强结果。通过实验可知,本文算法能够根据场景深度的差异,再现场景的真实颜色,以及增强低照度区域的细节信息。
3 结论
本文将双目立体视觉原理应用于低照度图像的增强上,将视差图像作为场景深度的先验信息,在估计图像照度分量的时候,提供了约束条件,构建了广义双边滤波,更加充分地恢复了图像细节信息。该算法具有较高的鲁棒性,能够较好地改善双目视觉系统的工作能力,具有广泛的应用前景。
参考文献
[1] badwd,孝顺的星月.基于SAD算法的立体匹配的实现[J].微型机与应用,2013,32(6):41-43.
[2] 贪玩的战斗机,张娟娟,ljdhk,等.基于NCC的改进立体匹配算法[J].微型机与应用,2015,34(3):54-57.
[3] 赵宏宇,xydddd,俏皮的小丸子,等.基于鲁棒估计灭点分层重建的研究[J].微型机与应用,2011,30(9):31-35.
[4] 兴奋的纸飞机,赵宏宇,sddlz.基于引导滤波的Retinex快速夜间彩色图像增强技术[J].北京工业大学学报,2013,39(12):1868-1873.
[5] SCHARSTEIN D, SZELISKI R. Stereo matching with nonlinear diffusion[J]. International Journal of Computer Vision, 1998,28(2):155-174.
[6] KLAUS A, SORMANN M, KARNER K. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure[C]. 18th International Conference on Pattern Recognition, 2006:15-18.
[7] LANKTON S. Selective mode filter in Matlab[EB/OL]. (2008-04-12)[2015-05-13]. Http://www.shawnlankton.com, 2008-04-12.
[8] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]. In: Proceedings of the 6th International Conference on Computer Vision Bombay, India: IEEE, 1998: 839-846.