摘 要

时序动作检测是计算机视觉领域中一个重要的研究方向。近年来，随着深度学习技术的发展，时序动作检测摆脱了利用手工提取特征的传统方法，通过深度学习自动提取高维度特征，使得时序动作检测领域取得了更进一步的发展。目前有各种模型基于不同的角度对视频进行时序动作检测的研究，其中对于视频中的行为识别取得了较好的成果，但对于视频中行为的时间边界检测还存在一定的局限性。如何生成高质量的提名成为了时序动作检测的关键，其难点在于视频时长变化大、提名不够灵活等。

针对上述问题，本文在研究和总结前人工作的基础上，完成以下工作：

（1）研究了最新的三种时序动作检测模型，分别为TAG、CTAP以及BSN模型。通过实验对比分析三种模型的特点和检测性能，进一步剖析了BSN模型所存在的问题。

（2）提出基于BSN模型改进的时序动作检测方法。为了解决BSN模型中TEM网络生成结果存在偏差问题，提出了新的TEM-PLUS网络。同时，改进时序评估模块、候选提名生成模块以及结果后处理模块中的参数设置，使改进的模型性得到一定程度的提升。融合所提出的改进方案，构建BSN-Merge模型以及基于该模型的时序动作检测方法。

（3）在THUMOS-14和ActivityNet-1.3数据集中对比BSN与BSN-Merge模型的实验结果，验证对BSN模型改进的合理与有效。同时，将BSN-Merge模型与当前流行的时序动作检测模型进行比较，也取得了有竞争力的效果。

本文基于BSN模型所提出的改进方案，提高了时序动作提名的质量，改善了提名时序边界不灵活的不足。

关键词：时序动作检测；时序动作提名生成；BSN模型；视频分析

Abstract

Temporal action detection is an important research direction in the field of computer vision. In recent years, with the development of deep learning technology, Temporal action detection no longer uses the traditional method of manually extracting features, and automatically extracts high-dimensional features through deep learning, which has made further progress in the field of temporal action detection. At present, there are a large number of models to study the temporal motion detection of video. These models achieved good results for action recognition in videos, but the sequence boundary detection of behaviors in videos still have some limitations. How to generate high-quality proposals has become the key to temporal action detection. The difficulties are that the video duration changes greatly and the proposals are not flexible enough.

To solve these problems, this paper summarizes the basic research and previous work on the completion of the following work:

（1）Researched the latest three temporal action detection models, namely TAG, CTAP and BSN models. By comparing and analyzing the characteristics and detection performance of the three models through experiments, I proposed the problems of the BSN model.

（2）Based on the BSN model, I propose an improved temporal action detection method. In order to solve the problem of poor results of TEM network in BSN, a new TEM-PLUS network is proposed. At the same time, I improved the parameter settings in the candidate proposals generation module and prediction and post-processing module to further improve the performance of the improved model. Integrate the improvement plan and construct the BSN-Merge model.

（3）Compare the experimental results of the models before and after improvement in the THUMOS-14 and ActivityNet-1.3 data sets to verify that the improvement is reasonable and effective. The comparison results of ActivityNet-1.3 show that the BSN-Merge model outperforms other state-of-the-art methods.

Based on BSN model, this thesis proposed an improved model. This method improves the quality of temporal action proposal and improves the inflexibility of sequence boundary.

Keywords: Temporal action detection; Temporal action proposal generation; BSN; video analysis

目 录

摘 要 I

Abstract II

第1 章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 1

1.3 本文研究内容 3

1.4 本文组织结构 3

第2章 时序动作检测方法的比较与分析 5

2.1 引言 5

2.2 基于TAG模型的时序动作检测方法 5

2.3 基于CTAP模型的时序动作检测方法 6

2.4 基于BSN模型的时序动作检测方法 7

2.5 三种时序动作检测方法比较实验 11

2.5.1 实验环境及数据集 11

2.5.2 评估指标及实验方案 12

2.5.3 实验结果及分析 13

2.6 三种时序检测方法比较与分析 13

2.6.1 三种模型比较与分析 13

2.6.2 BSN模型的优势与不足 14

2.7 本章小结 15

第3章 基于BSN-Merge模型的时序动作检测方法研究 17

3.1 引言 17

3.2 BSN模型改进方法 17

3.3 BSN-Merge模型结构 19

3.4 BSN-Merge模型中参数设置方法研究 20

3.5 基于BSN-Merge模型的时序动作检测方法 21

3.6 本章小结 22

第4章 实验结果及分析 23

4.1 引言 23

4.2 实验环境及数据集 23

4.3 实验方案及评估指标 23

4.4 DSB网络和TEM网络性能对比实验 23

4.5 BSN-Merge模型参数设置实验 25

4.5.1 实验方案设计 25

4.5.2 实验结果分析 25

4.6 基于BSN-Merge模型的时序动作检测方法实验 26

4.6.1 BSN模型改进前后性能对比实验 26

4.6.2 基于BSN-Merge模型的时序动作检测方法对比实验 29

4.7 本章小结 30

第5章 总结与展望 31

5.1 全文总结 31

5.2 未来展望 31

参考文献 32

致 谢 34

第1 章 绪论

1.1 研究背景与意义