均值偏移和区域映射的视差图范文

《计算机应用研究杂志》2015年第五期

1基于均值偏移和区域映射的视差图优化算法

本文算法的思想是在传统立体匹配算法基础上对匹配得到的原始视差图进行优化。经典立体匹配如图割算法(GraphCut)、成本聚集局部立体匹配算法(DTAggr-P)、成本聚集联合直方图匹配算法(HistoAggr)、硬件高效双边滤波匹配算法(HEBF)及递归双边滤波算法(RecursiveBF),采用上述算法得到的视差图称为原始视差图。算法步骤如下：1)采用均值偏移算法对原始视差图像进行分割；2)对黑色空洞区域进行提取,判断纹理方向,进行均值纹理填充；3)对原始左图像进行区域分割,将分割区域映射到黑洞填充后的视差图中,对视差图中的每个分割区域进行平面拟合去除误匹配点；4)结合摄像机标定参数计算得到场景的深度信息和三维坐标,最后进行以左视图为参考图像的三维重建。经过以上4个步骤,最终实现精度较高的三维重建。算法整体流程图如图1所示。

1.1基于均值偏移算法的图像分割经过图像匹配,误匹配点最明显的表现为黑色区域。视差图是灰度图像,灰度值对应着深度信息,黑色区域也就是灰度值为0的区域,对应到深度信息中就是深度值为零,这是不符合实际情况的。若直接对视差图进行平滑和滤波处理,由于黑色区域的存在,将导致很大的误差。本文使用均值偏移算法对视差图进行基于灰度值的分割,根据相机标定参数中的焦距确定最小深度值从而确定视差值mind,视差图的最小灰度值minc也就确定了,通过均值偏移聚类标记并提取出小于minc的像素点。均值偏移算法[9]是一种概率核密度估计算法,用于对特征空间内的样本进行聚类分析。设1...{}iinx是d维空间dR中的任意n个特征点,核函数密度估计算子由核函数K(x)和函数窗口半径h即带宽矩阵决定,其表达式. 由式(5)可知,特征点x处的均值偏移向量的方向和该点的密度梯度的方向是一致的,聚类中心点就是指沿着均值偏移的方向收敛到的密度最大点。而密度较低的区域均值偏移的步长也就较大,当在cx点出均值偏移矢量达到零时,该点就被称为特征空间的模式点。对于黑色空洞区域的填充,本文根据纹理的方向采用行或列的像素平均值进行填充。采用GC算法计算得到的Teddy图像的作为原始视差图,此图黑洞区域的纹理方向是纵向的,于是本文对其进行了横向填充。分割前后对比图如图2所示。其中图(a)是GC算法得到的原始视差图,在边缘和中间部分区域明显存在着一些误匹配的不合理区域,尤其是在左边的边缘阶段,匹配的效果十分不理想。图(b)是经过均值偏移区域分割后的结果,图(c)是黑洞区域,图(d)是对黑洞区域处理后的视差图。可以看出均值偏移算法能够使由于误匹配等原因造成的黑洞区域较好的提取出来。

1.2区域映射下的视差图优化本文算法是基于平滑表面假设的,即在原始彩色图像中色彩值相似的区域对应某一个物体的表面,当区域划分的足够小时,这些表面都可以用一个平面来描述。当这些区域对应到深度图中时,同一区域内的像素点深度信息可以用一个平面来拟合。本文的视差图是以左图像为参考图像的,视差图与左图像间的区域位置是一一对应的。先对原始图像进行均值偏移分割。原始图像是RGB格式,需转化到Lab空间。Lab色彩模型是基于人对颜色的感知,将光线波长转化为亮度和色度,在视觉感知方面更加均匀,其中L表示亮度,a和b是色度范围。Lab色彩空间中两点的欧式距离能够较好的表征两个像素点颜色的差异,用该模型来进行图像分割也能得到更好的分割结果。原始图像的分割结果如图3中(b)图所示,区域映射后的视差图如图3中(c)所示。将原始左图像的区域分割结果映射到视差图中,对每个区域做视差平面的拟合。本文使用最小二乘法对分割平面进行拟合,分别以行和列的坐标为x和y方向的坐标,以像素的灰度值为z坐标进行平面拟合。拟合公式.其中b(1),b(2),b(3),b(4)为待拟合的系数。用拟合后的平面取代之前的包含较多误匹配点的不规则曲面,各个区域里掺杂的误匹配点也就被去除了。优化后的视差图如图3中(d)所示。

1.3三维重建在得到经过后处理的视差图后,结合标定数据,进行了三维重建。由于本文使用的是标准Teddy图像对,接近于理想的平行双目立体视觉模型。本文的三维重建是以左原始彩色图像的坐标为参考图像,根据平行双目配准双CCD系统的三角测量原理[10]。假设两摄像机的焦距为f,基线长度为B即摄像机投影中心间的距离,以左摄像机为世界坐标系oxyz,左视差图像坐标系为lllOXY,右视差图像坐标系为rrrOXY,空间任意一点P(x,y,z)在左视差图像上的投影为(,)lllOXY,在右视差图像上的投影则对应的为(,)rrrOXY。理想的平行双目立体视觉模型中,两个摄像机的中心是位于同一平面上的,也就意味着lrYYY,即左右视差图坐标系以及世界坐标系的Y坐标值是一致的。由透视变换三角几何关系可以得到如下的关系式.由于本文使用的是标准图像对,因此图像的基线B及摄像机的焦距f是已知的。再结合经过后处理的视差图,可以得出物体3D坐标及每一个匹配点的深度信息Z。最终Teddy图像对的三维重建效果图如图4所示。从图可以看出,由GC算法得到的视差图进行三维重建时有较多毛刺及较多误匹配区域,导致重建的效果较差。而经过本文算法优化后的三维效果图不仅去除了毛刺和不合理区域,同时还保留了该有的纹理方向和三维平面的趋势。

2实验结果及分析

本文算法的开发工具为MATLAB2012a,采用Middlebury大学提供的标准图像对进行实验验证。为了客观评价本文算法的处理效果,采用了指标误匹配率B和均绝对值误差R对处理前后的视差图进行定量分析,定义式如下.本文对Middlebury提供的四对标准图像对Cones、Teddy、Venus、Tsukuba的视差图做了后处理,算法所得视差图实验结果如图5所示,其均绝对值误差和误匹配率的前后对比结果如表1所示。Cones(分别标记为“aB”和“aR”)、Teddy(“bB”,“bR”)、Venus(“cB”,“cR”)以及Tsukuba(“dB”,“dR”)。从八组数据前后对比可以看出,本文算法对GC算法的原始视差图优化的效果是相当明显的,除了Cones图像的误匹配率指标,其他的指标数值在处理前后都有降低。为了进一步验证本文算法的有效性,对DTAggr-P算法、HistoAggr算法、HEBF算法以及RecursiveBF算法得到的Teddy图像的视差图也都做了后处理。对这四种典型算法的视差图像本文同样采用了均绝对值误差和误匹配率来衡量最终视差图优化的效果,如表2所示：DTAggr-P算法(分别标记为“1B”和“1R”)、HistoAggr2算法(“2B”,“2R”)、HEBF算法(“3B”,“3R”)以及RecursiveBF算法(“4B”,“4R”)。由表格数据可以看出,经过本文算法处理后,除了HistoAggr算法得到的优化后视差图在误匹配率指标上略有增加,其他三种经典算法的均绝对值误差和误匹配率都有明显降低。图6展示了评价结果中两种评价指标的优化前后的对比折线图。

3结束语

本文以双目立体视觉理论为基础,使用基于均值偏移和区域映射的算法对原始视差图进行优化,最后结合标准图像对的标定数据计算得到场景的深度信息,进行了三维重建。本文对GC及其他四种算法得到的视差图进行了优化。结果表明本文算法不仅能够维持原始纹理的方向性,还有效地降低了视差图中图像遮挡区域及低纹理区域的误匹配率,三维重建更接近真实值。但是算法也存在不足之处,对于过度复杂纹理区域和纹理重叠区域的纹理处理还不够完美,导致三维重建的效果还是有欠缺,这是后续研究中需改进的地方。

作者：张惊雷 吉玲 单位：天津市复杂系统控制理论及应用重点实验室 天津理工大学 自动化学院