双向动态规划的立体图像匹配范文

《电视技术杂志》2014年第十一期

1新型视差图获取算法的研究

DP算法的实质是将对应点的匹配问题转化为寻找某一能量函数的全局最优解，而构造出合适的像素间匹配的代价函数是构建全局能量函数的重要前提，所构建的代价函数优劣与否直接影响着立体匹配算法的运行速率和精确度，其中代价函数主要包含有差值绝对值和函数(SumofAbsoluteDifferences，SAD)、差值绝对值(AbsoluteDifference，AD)、差值平方(SquaredDifferences，SD)等，此类代价函数在算法构造上相对简单、易于操作，但由于忽视了不同区域间跃变的影响，会产生较高的误匹配率。为了克服在交叉深度不连续区域的匹配问题，学者们在不连续区域为每一个像素选择自适应匹配窗口，其中Yoon等人［16］将几何数学的邻近性和像素色度空间融入到权值计算当中，此举有效地抑制了立体匹配中的不确定性，但在构建ASCF的过程中，导致视差非连续区域的误匹配率有所增加。针对这一问题，提出了一种新型视差图获取算法即改进动态规划双向约束算法，即采用修正后的ASCF，进一步增强原始代价值在视差非连续区域的比重，以确保这一区域的误匹配率有所降低，从而改变构建ASCF的传统方法所导致总体误匹配率高的状况，并参照经典Potts模型［17］构建全局能量函数，考虑到相邻像素视差值保持的一致性准则，增加了视差平滑约束项的比重，提高所构建的全局能量函数的精确度。由于传统的DP算法在求取全局能量函数最优解时存在一个很大的局限性，即易出现“条纹”瑕疵的现象。为了克服这一问题，此算法提出采用扫描线行列双向动态规划来寻找最小匹配代价路径，并对初始视差图的数据项和平滑约束项分别制定了相应的奖励策略。最后，针对出现的错误孤立视差点，通过简单的滤波方法和遵循相关的3个准则予以消除。此算法流程如图1所示。

1．1修正后的ASCFYoon等人［16］基于空间几何距离的相关性和像素间颜色相似性对ASCF进行了详细分析，即将几何数学的邻近性和像素色度空间融入到权值计算当中，其计算公式中像素q之间空间坐标的欧几里德距离。许多学者提出了不同的Δcpq构造方法，其中Salmen等人［18］根据像素点RGB值的内在联系，将Δcpq设定为窗口中心像素p与匹配窗口像素q的RGB值的加权欧几里德距离。由于获得该参数需要通过实验反复测试，以致代价函数的精确度相对较差，图像对的误匹配率也不低。Yang等人［19］对两像素点彩色差值求平均，尽管该构造方法在一定程度上减轻了算法的运算量，但由于忽略了像素点间彩色像素值的相关性，导致代价函数的自适应约束能力减弱，视差保持特性有所降低。式中:Ti为截断门限值;Td为视差非连续区域的判断门限，当对应像素的彩色像素值差值的绝对值之和大于或等于在非连续区域的截断门限值时，原始代价值取为截断门限值，反之，取值为差值的绝对值与截断门限值之和中的最小值。

1．2构建新的全局能量函数本文构建的全局能量函数仍然只包含平滑项和数据项，其计算表达式如。

1．3改进双向动态规划寻径由式(5)构建的新的全局能量函数可知，立体匹配问题转化为求解一个视差分配d*，即使能量函数E(d)的取值最小求解式(9)所述的能量最小化问题，传统的DP算法忽略了核线间的影响，致使核线与核线间的约束不够，即只是进行单一的行方向上的DP运算，如图1所示为在行方向上进行DP求解示意图，其中图2a是以x，y分别为横、纵坐标，视差搜索范围为d的视差空间图像(DSI)，图2b为只在行方向DP求解的示意图，其目的是为了搜索得到一条从左至右的最小代价路径。显然，这种缺少行、列方向上连续视差结果融合的DP算法不能保证全局最优，为了增强纵向像素间视差的约束项，以确保视差图横向条纹“瑕疵”的减少，故提出基于行、列双向的动态规划算法，具体过程如图3所示。本算法提出了一种由行匹配初试结果来确定相应的奖励策略，即通过减小d*所对应代价函数的比重，以提高其在列匹配中被选中的可能性，初始匹配结果依靠第一次行DP求解得到，同时需在确定的窗口区间内，对数据项制定了合理的奖励策略:情况1，若列方向初始视差梯度变化出现明显错误的视差值点时，其用原来的代价值来赋值;情况2，若在列方向初始视差梯度未出现异常的情况下，而在行动态规划中能够得到匹配的视差值点，那么其值应该赋予较大的奖励值;情况3，其他视差值点则使用较小的奖励值。其表达式为式中:Ti为截断门限值，如式(4)所述;r一般取相对较小的正数，当r取值过小时，奖励值过小，会造成行方向上的DP效果不明显;当r取值过大时，会使得列方向上的视差值点被选中的概率过大，导致列方向上的DP失去了意义。经过多次实验测试得知，r取值为7时，所得匹配结果较为理想。另外，能量函数的数据项的计算方法与上述平滑项一致，这里就不再累述。

1．4去除孤立的错误视差点针对所获取视差图中出现的一些较为明显的噪声点，该算法采用易于操作的滤波方法来去掉孤立点。一般遵循以下3个可靠性准则:1)若该像素点上下邻域像素的视差值相等，则赋予该点视差值与上下邻域点一致;2)若该像素点左右邻域像素的视差值相等，则赋予该点视差值与左右邻域点一致;3)若该像素点周围邻域点的视差值都不相等，则赋予该点视差值为其邻域所有点的视差值均值。

2实验结果

本算法的实验平台和参考图像来自于Middlebury大学数据库，对其中的Cones，Venus，Tsukuba，Teddy这4幅图像进行了测试，实验中的各个参数k，γc，γp，Ti，Td，T，p，r，s分别取值1，5，19，25，30，5，3，10，3。实验结果如图4所示。此算法以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改进双向动态规划寻径来得到最终的稠密视差图，分别与以ASCF作为代价函数、基于行列双向动态规划(DoubleDP)算法和以SAD作为代价函数的DP算法所获取视差图进行比较。实验视差图在所有区域(All)、非遮挡区域(Non_occ)、视差非连续区域(disc)的错误率做了记录，实验结果如表1所示。从表中分析可知，在优化策略一致的情况下，相较于SAD，采用ASCF来获取视差图误匹配率要低很多，而此算法相对于其他3种算法，误匹配率最低，“条纹”瑕疵方面最少，所获得的视差图效果最好。

3小结

提出一种基于改进双向动态规划的视差图获取算法，以修正后的ASCF为代价函数，并构建新的全局能量函数，通过改进双向动态规划寻径来得到最终的稠密视差图。实验结果表明，该算法能够取得较为理想的效果，与其他3种DP算法相比明显降低了误匹配率，减少了图像中的“条纹”瑕疵。虽然该算法在降低误匹配率和减少“条纹”瑕疵方面有显著的改善效果，但由于需要计算每个像素在确定窗口的自适应代价值，以致执行时间较长。故今后将使用GPU［21］和多线程［22］的处理方式，以便大幅度地提高算法运行速度，满足实际应用的要求。

作者：程时文林志贤郭太良单位：福州大学物理与信息研究工程学院