摘 要

随着计算机视觉技术迅猛发展，手势识别已经成为当今社会研究的热门技术之一。手势识别的目的是理解人们正在表达的手势，对虚拟技术、人机交互以及手语识别等具有重要意义。本文主要研究在复杂背景下的静态手势识别算法，以期得到更高的识别率。

本文详细阐述了手势分割、特征提取及分类识别的理论基础和算法优劣。由于手势分割过程中常常受到类肤色物体和人体其他肤色区域的影响。本文提出一种基于融合深度信息与色彩信息的分割法，定位图像中的手势区域，可以分割出更精确的手势图像。在手势识别中，单一的特征提取算法不足以充分地覆盖手势特征。本文提出一种基于HOG_MBLBP特征融合与SVM分类的手势识别方法，采用MBLBP算子提取手势的纹理信息，经实验验证该算法对光照变化和复杂背景等条件都具有良好的鲁棒性。

最后本文详细介绍了手势识别系统的设计流程以及实现方法，并通过测试集进行实验检测。结果表明，该手势识别方法可以得到91.03%的识别率。

关键词：深度图像；特征融合；复杂背景；静态手势识别

Abstract

Along with the computer vision technology rapid development, gesture recognition is one of the most popular technologies in social research. Gesture recognition aims to understand the ongoing gesture movement, which is of great significance for human-computer interaction, sign language recognition and virtual technology. This paper mainly studies the static gesture recognition algorithm under complex background, in order to get a higher recognition rate.

In the paper, the basic theory, strengths and shortcoming of gesture segmentation, feature extraction are expounded in detail, and classification recognition. On account of the process of gesture segmentation is often affected by skin-like objects and other skin-tone regions of the human body. In this paper, the segmentation method combining depth information and color information is used to locate the gesture area in the image, so that more accurate gesture area images can be segmented. In gesture recognition, it is difficult for a single feature extraction algorithm to fully describe gesture features. In this paper, a gesture recognition method based on HOG_MBLBP feature fusion and SVM classification is proposed. The MBLBP operator is used to extract the texture information of the gesture. Experimental results show that the algorithm is robust to illumination and complex background.

The last but not leas, this paper recommends the design procedure and implementation way of the gesture recognition system in detail, and carries out experimental detection through the test set. The results show that the gesture recognition method can obtain a recognition rate of 91.03%.

Key words: depth image; feature fusion; complex background; Static gesture recognition

目录

第1章 绪论 1

1.1 研究目的及意义 1

1.2 国内外研究现状 2

1.2.1手势分割算法研究现状 3

1.2.2 特征提取算法研究现状 3

1.2.3 手势分类识别算法研究现状 3

1.3 论文主要内容和结构安排 4

第2章 手势分割 5

2.1 肤色检测分割法 5

2.1.1 肤色检测的颜色空间 5

2.1.2 肤色检测 6

2.2 深度阈值分割法 9

2.3 融合深度信息与色彩信息的分割法 11

2.4 本章小结 12

第3章 特征提取及分类识别 13

3.1 手势特征提取 13

3.1.1 HOG特征提取 13

3.1.2 LBP特征提取 15

3.1.3 HOG_MBLBP特征融合 17

3.2 SVM分类识别 18

3.2.1 SVM基本原理 18

3.2.2 SVM核函数 20

3.3 实验结果与分析 21

3.4 本章小结 22

第4章 系统设计与结果分析 24

4.1 手势识别系统设计 24

4.2 手势识别结果与分析 25

4.3 本章小结 26

第5章 总结与展望 27

5.1 总结 27

5.2 展望 27

参考文献 29

致谢 31

第1章 绪论

1.1 研究目的及意义

手势是人类自然的行为，是手、手臂或四肢的有意识或无意识运动，可以根据不同的时空操作行为、不同的语义、不同的交互方式和不同的交互范围来区分交互过程中的手势。手势主要负责在人类交流过程中辅助进行语义的传递工作。在大多数日常的人类交流中都存在手势，特别是有听力障碍者、水下、嘈杂环境等无法用言语进行交流的环境中，手势可以通过补充言语或替代口语参与交流，成为了人类交流的首要选择。手势作为肢体语言最为自如、直接地一种表达，其优势在于可以摆脱语言限制，填补了图像与自然语言之间交互的空缺。手势识别在智能穿戴设备、家庭娱乐以及手语识别等方面有着重要应用价值。鉴于手势动作在生活中具有不可估量的关键作用，手势识别技术有着巨大的研究价值。

根据交互模式可以把手势分成媒体手势，直接接触手势与非直接接触手势。媒体手势是通过物理接触的单点输入设备，例如鼠标、操纵杆，以将获取的数据序列传输到计算系统中。直接接触手势是通过身体的一部分或工具直接在输入设备上进行的手势操作，如触摸屏幕时手势交互启动。非直接接触手势是指通过身体部位或物理对象执行交互式命令而无需与系统进行物理接触的操作，与直接接触手势不同，非直接接触手势在操作过程中不会直接触摸任何输入设备。根据时空特征，手势通常分成动态手势与静态手势。静态手势是指在特定时刻时手掌或手臂的空间动作，仅具有手势姿态信息，而不会引起空间位置的变化。它通常仅表示一个交互式命令，并且不包含时间序列信息。动态手势是指一段时间内手臂、手掌或手指的位置发生改变，包含时间信息和空间信息。在自然互动的情况下，手势通常伴随着口头交流，主要包括象征性手势和动作手势。其中象征性手势具有社会约定俗成的抽象概念，表示数字或字母的静态手势就是符号手势的一种。对于非接触式静态手势的识别有助于增强计算机对语义的理解，使人机交互更为自然。