关于手势基于视觉实时手势识别及其在演示制约中运用

论文导读：
作者简介：孙靖（1987—），男，山西忻州人，硕士研究生，研究方向：模式识别与智能控制，计算机视觉（E-mail：wjsunjing@163.com）；艾矫燕（1970—），女，湖南株洲人，教授，博士，研究方向：模式识别与智能控制、智能信息处理。
摘要：研究基于计算机视觉的实时动态手势识别技术，并利用OpenCV计算机视觉库在VS2010平台上设计一个基于该技术在多媒体教学中PPT演示控制方面的应用。首先，利用背景差分法进行手势检测，在背景更新的基础上，通过背景差分图和颜色直方图的反投影图来检测运动手势区域，可以达到较为满意的实时运动手势检测效果；其次，采用基于颜色直方图的粒子跟踪算法进行手势跟踪，基本能满足跟踪的实时性；最后，在手势识别阶段，采用基于Hu不变矩的轮廓匹配算法，得到较好的手势识别效果；使用六种手势，来实现演示文稿中的控制应用。
关键词：计算机视觉；背景差分；粒子跟踪；手势识别；Hu矩
：A
1引言
随着计算机软硬件技术的发展，人机交互已经由过去的鼠标、键盘方式逐渐向更加灵活生动的语音、姿势等新颖交互方式发展。由于基于视觉方式具有便捷和开销低等优点，因此，利用计算机视觉技术来使计算机理解用户的命令，从而做出控制动作，这一领域的研究得到越来越多的重视。其中，人的手势作为日常生活中最为广泛使用的一种交流方式；因此，国内外许多研究机构开始对手势识别技术进行研究，并已经取得了一些阶段性的成果。较早的有：Freeman和Roth等人提出的基于方向直方图的手势识别系统；国内的高文教授等人于1994年提出了一种静态复杂背景手势目标的捕获与识别。经过二三十年的发展，
人们对运动目标检测及跟踪进行了大量深入的研究：美国MIT实验室通源于：毕业论文致谢词www.7ctime.com
过提取左右手质心的运动轨迹以及手势形状特征参数，结合语法规则识别40个美国手语，准确率达到97%；另外，Microsoft Korea的HyeonKyu Lee，采用HMM的阈值模型，识别9种动态手势命令，平均识别率高达98.19%；国内的任海兵提出了基于DTW的手势识别算法，该算法能准确识别12种手势。
现在，基于视觉的手势识别技术更多的是应用在娱乐、游戏方面，比如微软前段时间推出的Xbox360游戏机体的体感外设Kinect及多款相配套的体感游戏，玩家可以通过手势在游戏中进行操作和互动，使得人机互动娱乐进入了一个新纪元。与此同时，还没有比较成熟的手势识别技术应用在现代教学系统中。因此，本文的研究重点是基于视觉的实时手势识别技术在多媒体教学演示控制中的应用。在基于视觉的手势识别研究中，需要解决的问题主要有两个：一是实时检测运动手势的信息，二是识别运动手势的信息并做出响应。对运动手势检测，本文采用背景差分结合改进颜色直方图特征的运动检测方法；对运动手势跟踪，本文采用粒子滤波算法结合改进颜色直方图信息的方法；手势识别阶段，本文采用了基于Hu不变矩特征[3]的轮廓匹配算法[4]；本文研究基于计算机视觉的手势识别系统，实现了在播放控制中运用手势进行开始、翻页、退出等功能，极大的提高了课堂教学的灵活性。
2手势检测
实时视频图像中的运动手势检测所需要完成的任务是：能够快且准的检测出手势在实时图像中的主要位置，并且能将位置所在的特定区域作为后续跟踪、识别的感兴趣区域。手势检测算法的好坏，直接影响整个系统的跟踪以及识别的效果。
目前，运动目标检测[5]的算法比较常用的有三种方法：光流法、帧间差分法和背景差分法。本文考虑实现环境为固定摄像头采集实时视频图像，背景基本不动，因此采用背景差分结合改进颜色直方图信息的运动检测方法。

2.1背景差分法

本文研究中，选取摄像头启动后的前10帧图像的平均作为最初的背景图像，把以后的实时序列图像当前帧和背景图像相减，进行背景消去。可以得到，运动手势区域的像素点的差分值比较大，背景区域的像素点的差分值比较小。另外，由于真实场景中的背景会因光线等外部条件产生微小的变化，长期的误差积累会造成最后得不到理想的手势区域，因此背景需要进行实时更新，从而能及时反映当前帧的背景图像，背景更新[6]的公式如下：
背景更新操作以后，对当前帧进行背景差分，大于阈值th1的图像论文导读：中，观测值由目标区域的颜色直方图决定。基于颜色直方图信息的粒子滤波就是将图像颜色特征的相似度作为粒子滤
点即为运动手势区域的点，并将得到的运动手势区域图像进行二值化操作，公式如下：
3手势跟踪
现在常用的一些跟踪算法主要有：卡尔曼预测算法、粒子滤波算法、均值偏移算法以及Camshift跟踪算法等。考虑到卡尔曼预测算法和均值偏移算法等都是线性跟踪算法，不能很好的应对目标运动的随机性，本文采用了粒子滤波算法。

3.1粒子滤波算法原理

粒子滤波法是指通过用一组带有权值的随机样本，以及基于这些样本的估算来表示动态系统的后验概率密度。当样本很大的时候，这种估计就等同于后验概率密度。这些样本就称为“粒子”。假设在t=0时刻每个粒子都有一个解，每个解与真实解都有一定的相似度，这个相似度可以表示为权重，随着时间的增加，相似度越大的粒子权重越大，而相似度越小的粒子权重就越小，最后趋于0，从而找到真实解（如图2）。

3.2基于改进颜色直方图信息的粒子跟踪

视频图像跟踪方面，目标的运动模型主要表现为目标位置、速度随时间改变的状态转移过程，目标的观测模型主要表现为每帧图像中运动目标的特征（如颜色、轮廓等）与真实目标的相似度的似然过程。在粒子滤波算法中，运动模型可以称为粒子传播或者粒子采样，它是一种随机过程[11]。粒子在经过传播以后，状态会发生改变，但权值没有跟着改变，这就需要系统的观测模型对当前粒子的状态进行计算从而更新粒子的权值。本文的研究中，观测值由目标区域的颜色直方图决定。 基于颜色直方图信息的粒子滤波就是将图像颜色特征的相似度作为粒子滤波算法要求解的后验概率，利用巴氏距离（Bhattacharyya）来计算相似度，得到粒子的权重。巴氏系数[12]如公式（9）：

4.2识别算法过程

本文研究中，首先建立手势模板库，然后通过实时提取手势帧，经过前面第2部分的结合改进颜色直方图信息的手势检测，然后再经过形态学处理之后，得到效果良好手势区域的二值图，再用轮廓提取及跟踪来得到手势的轮廓图，然后计算其7Hu矩特征，最后运用欧氏距离将其与模板库中定义的手势进行特征匹配，完成手势识别。
轮廓提取就是要掏空内部的点：如果其八个相邻的点都是黑色，则可以判定为内部点，然后删除改点。
轮廓跟踪方法：首先找出轮廓中最左下方的点作为搜索的起点，然后按照一定规则来搜索手势轮廓上的其他像素点。由于轮廓是连续的，因此每个轮廓上的点的位置都可以用其前一个点的所张的角度来表示。研究中采用如下跟踪准则，第一个点开始定义搜索方向为左上，源于：本科毕业论文www.7ctime.com
如果左上方的点是黑点，则它也是轮廓上的点；如果不是，那么顺时针旋转，直到找到第一个黑点，即轮廓上的下一个点。继续同样的方法搜索，直到返回最初的起点，搜索结束。
下图是轮廓跟踪算法[15]的示意图，搜索方向用箭头表示。
5系统实现
本文的系统是在微软的VS2010平台上，使用C++语言进行软件开发，在图像处理相关方面是基于计算机视觉库（OpenCV）进行研究的。程序界面如下图：
左边底层区的按钮可以观察实时手势跟踪和识别效果的功能（如图4和图7）。
手势识别的结果可以定义成一个变量，不同
的识别结果对应的变量值不同，然后根据变量值调用不同的API接口函数，这样就可以实现实时手势识别技术在演示控制中的应用。本文研究在控制部分挑选了六种手势，分别控制PPT播放中的开始、退出、上下翻页、跳转首末页等功能。手势命令定义如下：手势4控制开始播放；手势3控制退出播放；手势1控制跳转首页；手势2为跳转尾页；手势10为向下翻页页；手势5控制向前翻页。对电脑中某一PPT进行实际的播放控制（列举其中4个手势的控制状态），效果如下：
1）识别手势4，开始播放：
2）识别手势10，向下翻页：
3）识别手势1，跳转到首页：
4）识别手势3，退出：
系统通过笔记本自带30W像素的摄像头，采用DirectShow论文导读：粒子跟踪也能基本实现实时跟踪的任务；在识别过程中，基于Hu不变矩的轮廓匹配算法具有很好的鲁棒性，可以得到较好手势识别效果；在应用阶段，使用手势来完成控制命令，基本实现了在播放控制中的应用。同时，仍存在一些问题：对于光照和人脸微小晃动等外部因素引起的噪声，只能降低而无法消除，这对于手势跟踪与识别的效果还是有一
技术进行实时视频的获取，图像尺寸是320*240，fps可以达到30-60帧/秒，可以很好的满足实时性的要求。
6结语
本文通过研究设计了一个基于视觉的手势识别技术在演示控制中的应用系统，可以看出背景差分结合颜色直方图的运动检测可以得到较好的手势区域效果；采用的基于颜色直方图的粒子跟踪也能基本实现实时跟踪的任务；在识别过程中，基于Hu不变矩的轮廓匹配算法具有很好的鲁棒性，可以得到较好手势识别效果；在应用阶段，使用手势来完成控制命令，基本实现了在播放控制中的应用。
同时，仍存在一些问题：对于光照和人脸微小晃动等外部因素引起的噪声，只能降低而无法消除，这对于手势跟踪与识别的效果还是有一定的影响，在应用时会产生一定的误操作。这些问题仍需继续研究，才能使得基于视觉的手势识别技术得到更成熟的应用。
参考文献
吴晓阳.基于OpenCV的运动目标检测与跟踪[D].杭州：浙江大学，2008.
CHO J U， JIN S H， PHAM X D. Object tracking circuit using particle filter with multiple features [C] / / SICE-ICASE： International Joint Conference. Las Vegas： IEEE， 2006： 1431-1436.
[3]甘志杰.基于Hu矩和支持向量机的静态手势识别及应用[D].青岛：青岛科技大学，2008.
[4]华斌，夏利娜.基于中值滤波和Hu矩向量的手语识别[J].计算机工程与设计，2011，32（2）： 615- 618.
[5]伏思华，张小虎.基于序列图像的运动目标实时检测方法[J].光学术，2004，30（2）： 215- 217.
[6]LINDEBERC T. Scale-space theory： a basic tool for analyzing structures at different scales [J]. Joumal of Applied Statistics. 1994， 21（2）：224-270.
[7]于华平.视频序列中的手势检测与跟踪[D].南宁：广西大学，2010.
[8]QIN WEN， PENG QICONG. An improved particle filter algorithm based on neural network for visual tracking [C] / / International Conference on Communications， Circuits and Systems. Las Vegas： IEEE， 2007：765-768.
[9]龚翔. 基于粒子滤波的视觉跟踪算法研究[D]. 南京：南京理工大学，2009.
[10]YU JIAXIA， LIU WENJING， YANG Y. Improved particle filter algorithms based on partial systematic resambling [C]/ /IEEE International Conference on Intelligent Computing and Intelligent Systems. Las Vegas： IEEE， 2010： 483-487.
[11]朱志宇.粒子滤波算法及其应用[M].北京：北京科学出版社，2010.
[12]FAZLI S， POUR H M， BOUZARI H. Particle filter based object tracking with sift and color feature [C] / / Second International Conference on Machine Vision. Las Vegas： IEEE， 2009：89-93.
[13]侯一明，郭雷，伦向敏，等.运动背景下基于粒子滤波的目标跟踪[J].计算机工程与应用，2007，43（8）： 62- 64.
[14]殷涛. 基于几何矩的手势识别算法[D].上海：上海海事大学，2004.
[15]甘泉. 基于计算机视觉的手势识别匹配检索方法的研究[D论文导读：].上一页1234
].