摘 要

为了弥补远程教育中情感交互存在的问题，本研究提出了基于视频的人脸表情识别系统，捕捉识别学习者的表情，判断学习者的学习状态并给出相应的学习建议。本文借助商业数学软件MATLAB对短视频中的学生的面部表情进行了识别模拟，并对表情识别的几种主流方法进行了探讨和比较，所得结论对于加深对表情识别技术的理解和应用具有重要的指导意义。

论文主要研究的是基于视频的人脸表情图像获取及表情识别系统的实现，并于MATLAB R2012a平台界面上进行系统仿真，验证系统实现表情识别的有效性和实用性。

研究结果表明：该表情识别系统能够较有效的识别视频中的人脸表情，并给出可视化的结论和相应学习建议，有助于提高学生通过远程教育学习的学习质量。

本文的特点是：首先，选用LBP（局部二值模式）算法来提取人脸的面部特征值。然后，计算得出人脸轮廓特征直方图。最后，k近邻分类器被用来分类人像的面部表情，进行判别。

关键词：表情识别；LBP；K近邻分类；情感分析；远程教育

Abstract

To remedy the problem in the distance education emotional interaction, this study proposed based on system of facial expression recognition in video capture of identifying the learners' expression to determine the learner's learning state and give the corresponding study suggest. In this paper, by using a commercial mathematical software MATLAB on a short video of facial expression recognition simulation, and for facial expression recognition of several mainstream method was to explore and compare. The conclusions to enhance mutual understanding and application of facial expression recognition technology has an important guiding significance.

This paper mainly studies the realization of the facial expression image acquisition and recognition system based on video, and the system simulation is carried out on the MATLAB R2012a platform to verify the effectiveness of the system for facial expression recognition.

The results of the study show that: the facial expression recognition system is able to effectively identify video facial expression, the conclusion and give visual and corresponding learning suggestions, help to improve the students through the learning quality of distance education learning.

The feature of this paper is: First of all, the LBP (local two value model) is used to extract the feature of human face. Then, the face contour feature histogram is calculated. Finally, the K nearest neighbor classifier is used to classify the facial expressions.

Key Words：facial expression recognition; LBP; K nearest neighbor classifier; emotion analysis; Distance Education

目 录

摘 要 I

Abstract II

目 录 III

第1章 绪论 1

1.1 课题背景及研究意义 1

1.2 国内外研究现状 1

1.2.1 远程教育研究现状 1

1.2.2 表情识别技术研究现状 2

1.3 论文主要内容 3

1.4 论文结构安排 3

第2章 表情识别方法综述 4

2.1 表情识别系统综述 4

2.2 人脸图像预处理 4

2.2.1 图像灰度化 4

2.2.2 图像旋转 5

2.2.3 尺寸归一化 6

2.2.4 图像增强 7

2.3 表情图像特征提取 8

2.4 表情分类 10

2.5 基于视频的表情识别 11

2.5.1 视频图像关联性分析 11

2.5.2 基于视频的表情识别策略 12

2.6 人脸表情库 13

2.7 本章小结 14

第3章 学习者表情识别系统设计 15

3.1 视频帧图像提取及预处理 15

3.2 LBP人脸特征提取 15

3.3 K近邻分类 17

3.4 系统GUI设计 19

3.4.1 GUI设计简介 19

3.4.2 GUI设计步骤 21

3.4.3 GUI设计中常用组件及属性 21

3.5 本章小结 21

第4章 系统实现及结果分析 23

4.1 系统运行环境 23

4.2 图像获取及预处理模块 23

4.3 人脸特征提取模块 25

4.3.1 基于ASM的人脸检测、标志 25

4.3.2 人脸图像二值化、凸壳运算 26

4.3.3 获取LBP矩阵 28

4.3.4 获取人脸纹理直方图 30

4.4 分类器训练模块 31

4.5 表情判别输出模块 32

4.5.1 对单帧图像的表情识别 32

4.5.2 对图像序列的表情识别 32

4.5.3 识别测试输出 33

4.6 系统关闭 33

4.7 系统总体设计 34

4.7.1 系统总体结构 34

4.7.2 系统界面 34

4.8 识别效果验证 35

4.9 本章小结 37

第5章 总结与展望 38

5.1 全文总结 38

5.2 发展展望 38

参考文献 40

致 谢 41

第1章 绪论

1.1 课题背景及研究意义

随着计算机科技的飞速发展，人类获取信息的方式也从文字符号等传统方式更多地转向图像视频等包含更大量信息的方式。

心理学家通过研究表明，在人类表达感情的方式中，语言、声音和面部表情所占比例分别是7%、38%和55%。面部表情在情感交流中的重要性由此可见一斑。通过对表情的解读，能够判断出交流中对方的大致心理状态，增进交流双方的互相了解，获得更好的交流效果。

人脸表情识别技术经过近几十年来的发展，已逐渐成为生物识别技术的研究热点之一。由于具有的客观性和自然性，它已被研究者们广泛关注。人脸表情识别是对人类面部表情信息（如面部形状改变，面部各组成部分位置移动等）进行特征提取分析，识别出人的情感状态的技术。它是情感计算的一个重要分支，同时也是一个重要的研究发展方向。

近年来，远程教育也呈现遍地开花的景象，但与之相对应的问题也十分突出。失去了教学者现场监督的学习环境，在线学习过程中学习者的学习效率和的学习专注程度可能会大打折扣，导致教学无法达到预期的效果。