对于遮挡遮挡目标检测与识别技术研究结论

论文导读：
摘要：遮挡问题在现实世界中经常发生，如何在遮挡情况下准确检测和识别感兴趣的目标是计算机视觉领域的一个重要课题。由于遮挡目标的信息不全，所以遮挡目标的检测和识别是一个具体挑战的课题，其研究具有重要意义。本文对基于图像的遮挡目标检测与识别方法按照三大类进行分类总结分析，在分析各类方法基本思路和优缺点基础上，给出了遮挡目标检测识别方法的发展趋势。
关键词：遮挡目标 目标检测 目标识别 局部特征
1007-9416（2013）09-0073-03
1 引言（INTRODUCTIN）
目标检测和识别的研究一直是计算机视觉领域的一个热点，在军事制导、舰船识别、国防建设、医疗诊断等领域有着重要的实用价值。然而，由于目标外部环境的复杂多样性以及传感器姿态的变换，遮挡问题时有发生，遮挡目标的检测与识别是一个具有挑战的难题。
根据遮挡发生位置不同分为物体遮挡和自遮挡；另一种划分是根据遮挡与被遮挡目标之间的关系，分为部分遮挡、大面积遮挡和全部遮挡。现实生活环境非常复杂，感兴趣目标总是处于被遮挡的状态，尤其是在人口密集区域或者广袤的森林里面，例如被垃圾桶遮挡的汽车，被树木遮挡的坦克等。为了解决遮挡问题，国内外研究人员进行了大量的研究，提出了很多有效的算法。我们把基于图像的遮挡目标检测与识别算法大致分为以下三类：（1）基于灰度信息的方法；（2）基于边界信息的方法；（3）基于局部特征的方法。本文下面对上述算法进行分析，介绍各类算法，并分析其优缺点。
2 基于灰度信息的方法（INTENSITY-BASED METHOD）
这类方法是一种最简单的目标识别方法，它充分利用了整个图像的灰度信息。通过一个模板在图像中逐像素地滑动，搜索整幅图像，具有最大互相关值的点就被认为是最佳匹配点。这类方法的优点是思路明确、实现简单；缺点是由于遮挡情况下会使得图像中目标区域的灰度发生很大的改变，从而很难检测到目标。主要方法有规格化互相关，方差和，增量符号相关[3]。单独某一种方法对遮挡目标的检测是不准确的，通过结合多种方法的优点来实现遮挡目标的检测与识别是基于灰度信息法的一个好的解决方案。王培容[4]结合了规格化互相关和增量符号相关，提出选择互相关算法；由于选择互相关算法在计算相似性时有效地屏蔽了被遮挡的部分区域，因此即使目标区域被部分遮挡，该算法仍能准确地识别出目标区域。
此类方法利用图像的全局灰度信息，所以计算量较大；并且由于遮挡情况下图像目标区域灰度变换比较明显，所以对于处理遮挡问题效果不是很理想。而基于边界和基于局部特征的方法因为不需要考虑图像灰度信息，所以对遮挡问题的处理更加方便。
3 基于边界信息的方法（BOUNDARY-BASED METHOD）

3.1 基于轮廓信息（Contour-based）

由于目标轮廓能够反映重要的特征信息[5][6]，因此学者们提出了许多基于轮廓分段的部分遮挡目标识别算法[7]-[15]。在这类算法中，构造目标模型[7]和码本[8]的识别算法，通过训练样本得到了最优的模型参数和构造码本的轮廓分段，然而其过程十分复杂。与之相比，基于实例的算法[9-15]具有计算复杂度低的优点，被广泛应用于识别遮挡目标。该类算法首先通过轮廓划分得到描述目标特征的分段轮廓，然后建立了包含已知目标特征的分段轮廓数据库，最后通过将遮挡目标的分段轮廓与数据库中的分段轮廓进行相似匹配从而识别遮挡目标。其中，轮廓分段对于正确识别遮挡目标是相当重要的。
1982年，Plidis T[9]提出一种分段线性拟合的方法，它能得到较好的分段结果，但它必须检查轮廓上的每一点，以判断一个点集是否共线，显然比较费时。为了加快轮廓分段速度，1994年，张桂林等[10]利用多边形近似方法将目标轮廓分段，抽取目标轮廓每一小段的不变矩作特征。利用动态规划技术在段间距离表中寻找最佳路径，确定所有的匹配对。该方法简单有效，但是对于轮廓变换比较多的目标表现出了不足。文献[11-15]选取轮廓的曲率极值点作为关键点划分目标轮廓，通过连接任意连续的关键点获得轮廓分段，从而识别遮挡目标。使用曲率极值点提高了分段的稳定性，但却会因为遮挡而丢失很多极值点从而影响识别结果。文献[16]根据车辆的凸形差与凸包的面积比来检测车辆的遮挡论文导读：多级分段合并处理，得到了一组完整描述多级目标特征的轮廓特征分段（简称特征分段）。对于细节特征较多的目标，目标特征描述还不够稳定。基于轮廓信息遮挡目标检测与识别方法发展得比较成熟，但是对于细节丰富的目标都表现不足，如何更好地对轮廓分段以及如何利用段间的相互信息还有待更深入的研究。

3.2基于边缘信息（Edg

，这种基于轮廓的方法不需要任何除车辆形状外的先验知识，因此具有更强的适应性。但是使用范围小。文献[17]针对现有轮廓划分方法存在特征描述不完整的问题，评价了轮廓分段所描述特征的重要程度，并提出了新的轮廓划分方案得到完整描述目标特征的轮廓分段。首先，通过局部轮廓曲率分布对目标轮廓进行划分，得到初步轮廓分段；接着，根据描述同一特征的相邻轮廓分段所具有的相关性，对初步轮廓分段按照其重要性进行多级分段合并处理，得到了一组完整描述多级目标特征的轮廓特征分段（简称特征分段）。对于细节特征较多的目标，目标特征描述还不够稳定。
基于轮廓信息遮挡目标检测与识别方法发展得比较成熟，但是对于细节丰富的目标都表现不足，如何更好地对轮廓分段以及如何利用段间的相互信息还有待更深入的研究。

3.2 基于边缘信息（Edge-based）

基于边缘就是利用边缘的各种有用信息，遮挡目标检测识别中基于边缘的方法主要就是基于广义Hough变换（Generalized Hough Tranorm， GHT）。Hough变换[18]及其拓展-广义Hough变换[19]自提出以来，因其良好的全局判别能力在识别遮挡和被噪音干扰的目标问题上得到广泛应用。程义民[20]、李智磊[21]等人采用广义Hough变换分别检测出工作台上堆集的有部分被遮挡的平面工具和破碎的平面图形。姚立健等[22]介绍了一种基于广义Hough变换的空间有部分遮挡的茄子目标识别方法。而Jan Dirk Wegner[23]等人则从正射影像和InSAR数据中提取城市建筑物的特征，用来区分目标是否为建筑物，对遮挡具有一定鲁棒性。 基于轮廓的方法和基于边缘的方法都是利用了目标物体的边界信息，因为边界的稳定性和可识别性都比较高，在遮挡情况下也能检测到未被遮挡的轮廓，所以基于边界的方法对部分遮挡具有较好的鲁棒性。如何更好地对目标轮廓进行分段，以及如何更有效地利用边缘的其他信息例如方向、梯度等还有待进一步的研究。
4 基于局部特征的方法（BASED ON LOCAL FEATURES METHOD）
由于全局特征在图像出现变换时会表现出很大的不同，在遮挡情况下全局特征一样出现很大变化。针对全局特征容易受外部环境影响，提出了局部特征。局部提取的特征稳定性高，抗干扰能力强。局部特征不受附近杂乱场景或者部分遮挡的影响。局部特征包括角点，斑点和区域。基于局部特征的方法的一般思路是首先通过特征提取方法得到局部特征，然后基于局部特征的匹配进行目标检测与识别。

4.1 角点特征（Corner features）

角点是图像亮度发生剧烈变换或者图像边缘曲线上曲率极大值点。在现实中，角点对应于物体的拐角，道路的十字路口、丁字路口等。角点所在的邻域也是图像中最稳定的、信息量比较丰富的区域。角点检测是基于局部特征方法的一种常用方法，由于在被遮挡的图像中依然有许多的角点可以被提取出来，所以角点是遮挡目标的一个重要的局部特征。经典的角点特征有Harris[24]及Harris的各种扩展角点[25][26]、SUSAN[27]、FAST[28][29]等；Harris以二阶矩阵（又称自相关矩阵）为基础，二阶矩阵描述了像素点局部邻域内的梯度分布信息：
（1）
二阶矩阵通过差分尺度为的高斯核进行局部图像导数的计算，然后利用积分尺度为的高斯平滑窗对像素点局部邻域内的导数进行加权平均，Harris通过计算一个角点响应值R来判断角点，α是经验常数取0.04～0.06；小于某一阈值t的R置为0；在3×3或5×5的领域内进行非极大值抑制，局部最大值点就是图像中的角点。
角点特征的检测精度取决于对角点的定义，Harris、SUSAN和FAST等都定义了自己的角点，并在实验中取得了好的效果。角点特征在对遮挡目标进行检测时会产生很多干扰角点，有可能产生误匹配。
论文导读：尺寸的斑点，当图像的斑点尺寸与高斯拉普拉斯函数的形状趋近一致时，图像的拉普拉斯响应达到最大。同时在空间和尺度上的最大值/最小值的点就是斑点。SIFT由Lowe在1999年提出来并在2004年完善，它的主要思路是：（1）构建图像金字塔，下一组的图像由上一组隔点降采样得到；（2）DoG（DifferenceofGaussians）结果由每组上下两层高斯

4.2 斑点特征（Blob features）

斑点通常是指与周围有着颜色和灰度差别的区域。由于斑点代表的是一个区域，相比单纯的角点，它的稳定性要好，抗噪声能力强。斑点包括LoG以及经典的SIFT[30][31]和SURF[32][33]等；LoG（Laplace of Gaussian）检测斑点方法是对二维高斯函数进行拉普拉斯变换，再规范化拉普拉斯变换为：
（2）
通过改变值可以检测到不同尺寸的斑点，当图像的斑点尺寸与高斯拉普拉斯函数的形状趋近一致时，图像的拉普拉斯响应达到最大。同时在空间和尺度上的最大值/最小值的点就是斑点。
SIFT由Lowe在1999年[30]提出来并在2004年[31]完善，它的主要思路是：（1）构建图像金字塔，下一组的图像由上一组隔点降采样得到；（2）DoG（Difference of Gaussians）结果由每组上下两层高斯尺度空间图像相减得到；（3）通过与8邻域以及上下相邻尺度对应的9*2共26个点比较，确保在尺度和二维空间图像位置空间都检测到极值点。（4）通过Hessian矩阵删除边缘效应。DoG是对LoG的近似和简化，具有和LoG相同的性质。SIFT算法不仅速度快并且对遮挡目标的鲁棒性很好。研究者们极力推崇SIFT，并且在SIFT的基础上进行了大量的深入研究，应用于各种场合。其中H源于：毕业设计论文范文www.7ctime.com
erbert Bay等人在SIFT的基础上提出来的SURF广受欢迎。
SURF使用积分图像为基础，通过盒状滤波器建立金字塔来提取局部特征，具体步骤如下：
（1）求取积分图像，积分图像中任一点的值为原图像左上角到任一点相应的对角线区域灰度值之和；（2）DoH（Determinant of Hessian）的近似。构建Hessian矩阵：
（3）
为高斯二阶微分在点x处与图像I的卷积。计算Hessian矩阵的行列式，得到简化近似结果：
（4）
表示图像与模板进行卷积的结果。3）尺度空间建立。原图像保持不变，滤波器模板尺寸不断增大，求取Hessian矩阵行列式的响应图像。然后在响应图像上采用3D非最大值抑制，求取各种不同尺度的斑点。
斑点特征在遮挡目标的检测与识别中得到了很好的应用，不仅实现速度快，而且鲁棒性好。实验表明在遮挡情况下也能检测到目标。

4.3 区域特征（Region features）

区域特征的一般方法是，通过图像中具有某种同类性质的像元进行分类，然后将具有同类性质的像元连接成区域，从而实现区域检测。区域包含MSER[34]，Saliency region detector[35][36]，EBR[37]，IBR[38][39]等。MSER方法的实现过程为：（1）对给定的图像根据灰度值排序；（2）按照降序或升序将排序后的像素放入图像中；（3）Qi表示二值化阈值对应的二值图像中的任意连通区域，二值化在一定范围变化时，连通区域也相应地变化，在这个范围内具有极小变化率的区域被认为是MSERs。
区域特征能够处理尺度变化，仿射变换等，对部分遮挡也有一定鲁棒性，但是计算复杂，而且因为区域特征是针对目标区域的一块区域来检测的，在大面积的遮挡下目标是检测不出来的。
5 结语（CONCLUSION）
本文对国内外有关遮挡目标检测识别算法进行了研究和总结，经过近几十年的深入研究，遮挡目标检测识别取得了重大突破。但是，在某些具体问题上还面临着极大的考验，需要我们的进一步研究。基于灰度信息的方法适应范围比较小，对光照变化和遮挡敏感；基于边界信息的方法对光照变化有一定鲁棒性，但对目标边界提取算法要求较高；基于局部特征的方法能够提取出较稳定的目标局部特征，对光照变化、尺度和旋转变化、遮挡等情况都有较好的鲁棒性。所以基于局部特征的目标检测与识别方法是将来的发展趋势。其中，大面积遮挡情况下的检测与识别依然是一个难题。因此，设计出一种鲁棒性强、适合各种遮挡情况的检测与识别算法是一个今后研究的方向。论文导读：erecognitionbysub-matrixmatchingforpartialmatchingguidedimagelabeling.PatternRecognition，2005，38（10）：1560-1573.SunKB，Super，BJ.Classificationofcontourshapesu上一页1234567下一页
参考文献
Du-Ming Tsai， Chien TaLin. Fast normalized cross correlation for defect detection[J]. Pattern Recognition Letters，2003，24：2625-2631.
Kawanishi T，Kurozumi T，Kashino K， et al. A fast template matching algorithm with adaptive skipping using inner-subtemplates distances[C]. Cambridge： Proc of the l7th Intl Conf on Pattern Recognition， 2004：654-657.
[3]Kaneko I，Murase S，lgarashi. Robust image registration by increment sign correlation[J]. Pattern Recognition，2002，35：2223-2234.
[4]王培容.局部遮挡下的目标识别算法[J].计算机工程与设计，2009，30（12）：3009-3011.
[5]Siddiqi K， Kimia B B. Parts of visual form： computational aspects[J]. IEEE Trans. On Pattern Analysis and Machine Intelligence，1995，17（3）：239-251.
[6]Hoffman D D， Singh M. Salience of visual parts[J].Cognition，1997，63（1）：29-78.
[7]Wu Y N， Si Z Z， Gong H F， et al. Learning active basis model for object detection and recognition[J]. International Journal of Computer and Vision ， 2009， 38（8）：1-38.
[8]Shotton J， Blake A， Cipolla R. Multiscale categorical object recognition using contour fragments [J]. IEEE Trans. on Pattern Analysis and Machine Intelligence， 2008， 30（7）：1270-1281.
[9]Plidis T. Algorithm for Graphics and Image Processing . New York：Computer Seienee Press，1982.
[10]张桂林，李强，陈益新，郑云慧.局部遮挡目标的识别[J].华中理工大学学报，1994-05，22（5）：15-19.
[11]Krolupper F， Flusser J. Polygonal shape description for recognition of partially occluded objects [J].Pattern Recognition Letter， 2007， 28（9）：1002-1011.
[12]Saber E， Xu Y W， Tekalp A M. Partial shape recognition by sub-matrix matching for partial matching guided image labeling [J]. Pattern Recognition， 2005，38（10）：1560-1573.
[13]Sun K B， Super， B J. Classification of contour shapes u论文导读：ugh变换的部分遮挡物体识别.中国科学技术大学学报，1997，27（4）：411-418.李智磊，翟宏琛，王明伟.一种可识别破碎图形的特殊广义Hough变换方法.物理学报2007，56（6）：3234-3239.姚立建，丁为民，赵三琴，杨玲玲.广义Hough变换在遮挡图像识别中的应用.农业工程学报，2008-12，24（12）：97-10

1.BuildingDetectionFromOneOrt

sing class segment Sets[C]∥Proce. of IEEE Conference on Computer Vision and Pattern Recognition， 2005， 2：727-733.
[14摘自：毕业论文提纲www.7ctime.com
]Liu H C， Srinath M D. Partial shape classification using contour matching in distance tranormation [J]. IEEE Trans. on Pattern Analysis and Machine Intelligence， 1990， 12（11）：1072-1079.
[15]Bai X， Yang X W， Latecki L J. Detection and recognition of contour parts based on shape similarity [J]. Pattern Recognition， 2008， 41（7）：2189-2199.
[16]熊昌镇，任建新，李正熙.一种基于轮廓的车辆遮挡检测与分割方法-系统仿真学报，2009，21（1）：75-82.
[17]史思琦，石光明，齐飞.基于特征完整描述的部分遮挡目标识别算法[J].系统工程与电子技术，2011-04，33（4）913-918.
[18]Hough P V C. Method and means of recognizing complex patterns[P].U S Patent 3069654，1962-12. [19]Ballard D H. Generalizing the Hough tranorm to detect arbitrary shapes[J].Pattern Recognition，1981，13（2）：111-122.
[20]程义民，王以孝，张冬青 等.基于广义Hough变换的部分遮挡物体识别[J].中国科学技术大学学报，1997，27（4）：411-418.
[21]李智磊，翟宏琛，王明伟.一种可识别破碎图形的特殊广义Hough变换方法[J].物理学报2007，56（6）：3234-3239.
[22]姚立建，丁为民，赵三琴，杨玲玲.广义Hough变换在遮挡图像识别中的应用[J].农业工程学报，2008-12，24（12）：97-101.
[23]Building Detection From One Orthophoto （正射影像） and High-Resolution InSAR Data Using Conditional Random Fields，IEEE，2011-03，1939-1404.
[24]Chris Harris . Mike Stephens. A combined corner and edge detector， 1988，147-151.
[25]Mikolajczyk， Schmid. Scale&Affine Invariant Interest Point Detectors. International Journal of Computer Vision. 2004，60（1）， 63-86.
[26]杨恒，王庆. 一种新的局部不变特征检测和描述算法[J].计算机学报，2010，33（5）：935-944.
[27]Stephen M.Smith， J. Michael Br论文导读：上一页1234567下一页
ady. SUSAN—A New Approach to Low Level Image Processing[J]. International Journal of Computer Vision， 1997，23（1）：45-78.
[28]E. Rosten， T. Drummond. Fusing points and lines for high performance tracking. Department of Engineering， University of Cambridge，2005.
[29]E. Rosten， T. Drummond. Machine learning for high-speed corner detection. Department of Engineering， Cambridge University， UK，2006.
[30]Did G. Lowe. Object recognition from local scale-invariant features. Computer Science Department University of British Columbia，1999.
[31]Did G. Lowe. Distinctive image features from scale-invariant keypoint， International Journal of Computer Vision，2004 ，60（2）， 91-110.
[32]Herbert Bay， Tinne Tuytelaars， Luc Van Gool. SURF：Speed up robust features（SURF）. In ECCV，2006
[33]Herbert Bay， Tinne Tuytelaars， Luc Van Gool. Speeded-Up Robust Features（SURF）. Computer Vision and Image Understanding ， 2008，110（2008）：346-359.
[34]Matas J，Chum O，Urban M，et.al. T.，Robust wide baseline stereo from maximally stable extremal region.BMVC，2002.
[35]Timor Kadir， Michael Brady. Saliency， scale and image description， Robotics Research Laboratory， Department of Engineering Science，源于：大学生论文查重www.7ctime.com
University of Oxford.2000.
[36]Timor Kadir， Andrew Zisserman， Michael Brady. An affine invariant salient region detector， Department of Engineering Science，University of Oxford.2004.
[37]Tuytelaars and Van Gool， 1999.
[38]T. Tuytelaars， L. Van Gool. Wide baseline stereo matching based on local， affinely invariant regions. 2000.
[39]T. Tuytelaars， L. Van Gool. Matching widely separated views based on affine invariant regions. 200

4.论文导读：上一页1234567

[3]