摘 要

人脸表情识别技术是一种不断发展的技术，主要应用于人工智能、计算机视觉、模式识别等领域，在近些年得到广泛的关注。根据相关研究，人脸表情能够表达出更加丰富的信息，对于计算机理解人类情感而言有很大的帮助。人脸表情识别技术的发展对于人机交互的发展来说也是一种促进。

本文综述了人脸表情识别技术的研究背景以及在国内外的研究发展情况，对机器学习和深度学习的基础知识进行了介绍，并主要研究了两种人脸表情识别方法：基于深度学习的人脸表情识别和基于局部二值模式的人脸表情识别。本文的主要工作如下：

1.使用了现有的一种比较常见的人脸表情识别方法，即基于局部二值模式的人脸表情识别方法，可以总结出常用的人脸表情识别方法的优点和缺点。本文使用了OpenCV库、LIBSVM工具包来分别进行此方法的人脸表情特征的提取以及人脸表情的分类。本文中，在CK 数据库上使用此方法进行的实验可以取得71.3%的人脸表情识别准确率。

2.对基于深度学习的人脸表情识别方法进行了研究，使用了卷积神经网络来对图像进行处理。本文使用了Caffe软件包来进行此方法的实验，且本文中在CK 数据库上此方法取得的最好的人脸表情识别准确率是78%。

3.通过对这两种方法的结果对比，可以更好的感受到深度学习方法的优点和缺点。结果表明，基于深度学习的人脸表情识别方法的识别准确率更高，但相对而言深度学习方法的速度更慢。

关键词：深度学习；表情识别；特征提取；算法对比

Abstract

The facial expression recognition technology is a developing technology, mainly used in artificial intelligence, computer vision, pattern recognition and other fields, in recent years has been widely concerned. According to the related research, the human face expression can express more abundant information, and it is very helpful for the computer to understand human emotions. The development of the facial expression recognition technology is also a kind of promotion for the development of human-computer interaction.

In this thesis, we present the research background and the development in the domestic and foreign of the facial expression recognition technology, and introduce some basic knowledge of machine learning and deep learning, and mainly study two kinds of facial expression recognition methods: the facial expression recognition based on deep learning and the facial expression recognition based on local binary pattern. The main works of this thesis is as follows:

1. Using one of the existing methods of facial expression recognition, the facial expression recognition based on local binary pattern can summarize the advantages and disadvantages of the commonly used methods of facial expression recognition. In this thesis, we use the OpenCV library and LIBSVM tool kit to carry out the experiments of facial expression feature extraction and classification of facial expressions of this method. In this thesis, we achieve a 71.3% accuracy rate of facial expression recognition using this method on the CK database.

2. A study on the facial expression recognition method based on deep learning is given, and using Convolutional Neural Networks to process the images. In this thesis, we use the Caffe software package to carry out the experiment of this method, and obtain the best facial expression recognition accuracy rate which is 78% in this article on the CK database.

3. By comparing the results of these two methods, we can feel the advantages and disadvantages of the deep learning method. The results show that the recognition accuracy of facial expression recognition method based on deep learning is higher, but the speed of it is lower.

Key Words：Deep Learning；Facial Expression Recognition；Feature Extraction；Algorithm Comparison

目 录

第1章 绪论 1

1.1 研究背景和意义 1

1.2 人脸表情识别技术研究发展现状 1

1.3 人脸表情数据库简介 2

1.4 本文的研究目标和内容 2

第2章 背景知识 4

2.1 深度学习 4

2.1.1 深度学习概述 4

2.1.2 卷积神经网络简介 4

2.1.3 深度学习的应用 5

2.2 局部二值模式概述 5

2.3 支持向量机简介 7

2.4 小结 7

第3章 基于局部二值模式的人脸表情识别 9

3.1 OpenCV简介 9

3.2 局部二值模式特征提取 9

3.3 使用支持向量机进行分类 10

3.4 小结 11

第4章 基于深度学习的人脸表情识别 12

4.1 Caffe框架介绍 12

4.2 图像预处理 13

4.3 使用Caffe进行人脸表情识别 14

4.4 小结 14

第5章 实验结果及分析 15

5.1 基于局部二值模式的人脸表情识别实验结果 15

5.2 基于深度学习的人脸表情识别实验结果 16

5.3 两种算法实验结果对比分析 16

第6章 论文工作总结 18

参考文献 19

致谢 21

第1章 绪论

1.1 研究背景和意义

由于科技的发展和社会的进步，计算机技术在发展的过程中也带动了人工智能水平的不断提高，而社会的信息化、自动化程度在此过程中也不断提高，人们也希望人机交互的方式能发展的更加便利。通过对人与人面对面交流进行的研究，人们发现，表情是一种表达个人情感的非常有效的手段，并且是对语言表达的一种有力补充，在人们的交流过程中起到了非常重要的作用。在交流的过程中，一个人所表现出的表情在很大程度上能让他人了解到自己的情绪、态度甚至心理。

正如心理学家Mehrabian进行过的研究表明，人们在交流过程中所表达出的信息量的大部分是通过人脸表情来传达的，占比为55%，而通过说话的声音以及语言内容所传递的信息量占比分别为38%和7%^[1]。可以看出，人脸表情可以提供很多有价值的信息。若在人机交互的过程中，计算机可以判断出人类的表情，并针对不同的表情做出相应的人性化反应，对于人机交互来说必定能极大的改善用户体验，并在一定程度上促进人机交互技术的发展。

近些年来，随着计算机视觉技术以及情感计算等的不断发展，人们在试图使用这些技术对表情图像进行分析，并寻求自动对人脸表情进行识别的方法。人脸表情识别技术的应用前景非常广阔，例如在人机交互、图像处理、三维动画合成、电子竞技、智能城市、虚拟现实、增强现实、混合现实等多个方面均可以应用的到。此外，人脸表情识别对于一些交叉学科的发展也会起到促进作用。同时，一些基于人脸表情识别技术的相关技术凭借其给人们的生活带来的便利和有趣的应用而受到广泛欢迎，因此，随着计算机处理能力的不断增强，研究更复杂和更准确的表情识别技术有重要意义^[2]。

1.2 人脸表情识别技术研究发展现状

国内外的研究者已经对人脸表情进行了较多的研究，并取得了一定的成果，对于人脸表情识别技术的发展具有一定的指导意义。早在1971年，美国心理学家Ekman和Friesen就已经通过充分的测试实验，为人类表情识别定义了6种基本的情感类别，即高兴（Happy）、生气（Angry）、惊讶（Surprise）、恐惧（Fear）、厌恶（Disgust）和悲伤（Sad），随后在1978年，Ekman和Keltner等人更进一步地细化及完善了人脸面部表情，并提出了基于运动单元（Action Units，AUs）来描述人脸表情的面部动作编码系统（Facial Action Coding System，FACS）^[3]。