基于卷积神经网络的文本情感分析开题报告
2020-04-13 05:04
1. 研究目的与意义（文献综述）
1.1 研究意义随着互联网和智能终端的不断发展，数据的获取方式不断增多，人类社会进入了一个信息爆炸的时代。互联网上存在着各种各样不同格式的信息，包括文字，图片，视频，音频等等。单就文本信息而言，如何利用机器学习以及自然语言处理技术对有关信息进行分析，从而获得其中的倾向性观点、情感极性等一些主观信息，成为现下人工智能领域中一个重要的研究课题。相关研究学者也对上述操作进行了专业定义，将其称之为文本情感分析或者意见挖掘。 在国外，美国Twitter社交网络平台已经将部分用户的推文信息公开供研究者研究，主要致力于通过文本的情感分析来评估用户的情感状态，以解决一些社会问题。在国内，网络舆情监控也为政府部门了解群众思想动态，做出正确的舆论引导，提供了决策依据。在商业应用方面，通过文本情感分析，决策者可以迎合消费者的需求，制定更加合理的市场营销策略，提高商品推广的成功率，改善用户体验。由上述应用不难看出，进行文本情感分析是十分必要且重要的。 1.2 文本情感分析的现状目前，文本情感分析的方法主要有两种，基于情感词典的方法和基于机器学习的方法。基于情感词典的方法主要根据情感词典中记录的词语或短语的情感倾向和强度信息对文本进行分类。这种方法是最直接有效的一种方法，利用人工编写的高质量词典，能够对情感进行准确判别。然而，也正是因为过分依赖于人工规则的完备程度以及词典资源覆盖率，使得这种方法不能覆盖所有领域文本中出现的词语，特别是在待分析的文本中存在互联网新词，会明显影响该方法的分类性能。 基于机器学习的分类方法则是在语料库上进行训练，通过大量数据分析得出规律，判断文本的感情色彩，具有较强的学习和泛化能力。机器学习可以分为有监督，半监督以及无监督三种模式。形如朴素贝叶斯算法，最大熵算法，决策树算法以及支持向量机模型均为典型的有监督的机器学习方法。这类方法通过结合文本特征，将文本映射为特征向量，用于模型的训练和分类预测。Pang等人是最早将有监督的机器学习方法应用于解决情感分析问题中的人，仅使用基本的词袋特征，便取得了高于基于情感词典分类方法的结果。考虑到有监督的机器学习方法需要大量的训练数据并且其性能依赖于训练数据和测试数据的相似程度，在实际应用中有局限性。而时下热门的深度学习作为能实现无监督机器学习的方法，克服了上述缺点，逐渐走进人们的视野。 深度学习致力于探索如何从原始数据中选择合适的特征以及表达方式来解决各种复杂的任务，相对于传统机器学习的算法来说具有更强的表达能力。使用这类方法的研究有，形如Socher等利用循环神经网络抽取句子的语义特征；曾道建等利用卷积神经网络提取句子的特征，然后使用分类器对情感极性进行分类。卷积神经网络和循环神经网络是目前深度学习比较热门的两种模型。卷积神经网络适合于挖掘数据中局部结构信息，而循环神经网络则常常被用来处理与序列相关的问题。 1.3 研究目的由于基本的卷积神经网络应用在文本情感分析中容易出现过拟合以及忽略句子结构特征的问题。因此，如何对现有卷积神经网络的模型进行改进，提出一种更适合，更有效，更精确的改进型模型，是十分有研究意义的。 |
2. 研究的基本内容与方案
2.1 基本内容文本情感分析的主要研究任务是：情感信息的抽取；情感信息的分类；情感信息的检索与归纳。基于上述三个主要任务，本次设计需完成如下操作： 1） 利用Word2vector进行词向量的生成，选择cbow或skipgram两种模型中的一种，选取合适的维度，解决数值化表示的问题； 2） 对传统卷积神经网络的模型进行改造，通过改变有关参数的取值，寻求最优的学习模型； 3） 得到模型后，确定词向量训练样本的规模，利用样本进行学习； 4） 训练完成后，再用另外一组样本集对学习结果进行预测，通过同真实值进行比对，对学习结果进行检验。 2.2 设计的主要目标本次课题需对传统的卷积神经网络进行改造，通过相关参数的设置以及原有结构的调整，设计出一个更适合于中文文本情感分析的模型，达到更加准确地对情感极性进行判别的目的。需要实现的主要目标有： 1）对Word2vector进行学习，了解它的原理并能利用其熟练地进行词向量的生成； 2）了解传统卷积神经网络的原理，结合中文情感分析的特点，对现有结构进行改进，能掌握并熟练利用卷积神经网络进行相关任务的设计； 3）通过对相关参数进行调整，实际观察不同参数的取值会给学习结果带来怎样的影响，加深对相关参数的理解。 2.3 拟采用的技术方案及措施 |
如下图图1所示的算法流程图，本次设计主要包括两个步骤，一是文本的预处理，二是卷积神经网络的构建。对于前者，拟采用Word2vector的skipgram模型，将文本信息转换成等长的词向量。对于后者，则需要从激活函数，卷积层，取样层，全连接层以及输出层进行考虑。
图1 算法流程图
常用的激活函数有sigmoid函数, tanh函数, Relu函数, softmax函数等，通过选用不同的函数进行试验，找出结果最优的函数；卷积层则需要考虑本次设计所需的卷积核的个数，通过不同的取值，设计出较理想的卷积层模型；取样层拟采用最大池化的方式，结合dropout算法，解决传统卷积神经网络容易出现过拟合的缺点。
|
|
| |
3. 研究计划与安排
第1—4周： 搜集资料，撰写开题报告；
第5—6周： 论文开题；
第7—12周： 撰写论文初稿；
4. 参考文献（12篇以上）
| [1] 王盛玉,曾碧卿,胡翩翩.基于卷积神经网络参数优化的中文情感分析[J]. 计算机工程, 2017, 43(8):200-207, 214. [2] 陈晓东.基于情感词典的中文微博情感倾向分析研究[D]．武汉：华中科技大学，2012． [3] 陈 钊，徐睿峰，桂 林，等.结合卷积神经网络和词语情感序列特征的中文情感分析[J].中文信息学报，2015,29(6) : 172-178． [4] Socher R. Recursivedeep learning for natural language processing and computer vision[D].PaloAlto; Stanford University,2014. [5] Socher R, Chen D , Manning C D, et al.Reasoning with neural tensor networks for knowledge base completion[C]//Procof advances in Neural Information Processing Systems,2013;926-934. |
[6] Socher R, Perelygin A,Wu J Y,et al. Recursivedeep models for semantic compositionality over a sentiment Treebank[C]// Procof Conference of Empirical Methods in Natural LanguageProcessing(EMNLP),2013;1642
[7] Mikolov T，Sutskever I，Chen K，et al.Distributed Representations of Words and Phrases and Their Compositionality[C]//Proceedingsof the 26th International Conference on Neural Information Processing Systems．New York，USA: ACM Press，2013: 3111-3119．
[8] Tang Duyu，Wei Furu，Yang Nan，et al． Learning Sentiment-specificWord Embedding for Twitter Sentiment Classification [EB/OL].(2015-01-12).http: / / anthology． aclw eb． org / P / P14 / P14-1146． xhtml．
[9] Bengio Y，Ducharme R，Vincent P，et al.A Neural Probabilistic Language Model[J].Journal of MachineLearning Research,2003,3(6):1137-1155.
[10] 何鸿业,郑瑾,张祖平. 基于词性结合的卷积神经网络文本情感分析[J/OL]. 计算机工程:1-7[2017-12-26].
[11] 赵妍妍,秦兵,刘挺. 文本情感分析[J]. 软件学报,2010,21(08):1834-1848.
[12]杨立公,朱俭,汤世平. 文本情感分析综述[J]. 计算机应用,2013,33(06):1574-1578 1607.
[13] 梁斌, 刘全, 徐进,等. 基于多注意力卷积神经网络的特定目标情感分析 [J]. 计算机研究与发展 ,2017,54(8):1724-1735.
[14] Bengio Y, Schwenk H,Senécal J S, et al. Neural Probabilistic Language Models[M]// Innovations inMachine Learning. Berlin, Germany : Springer,2006:1137-1155.
[15] Giachanou A, Crestani F. LikeIt or Not: A Survey of Twitter Sentiment Analysis Methods[J]. Acm ComputingSurveys, 2016, 49(2):1-41.
3. 研究计划与安排
第1—4周： 搜集资料，撰写开题报告；
第5—6周： 论文开题；
第7—12周： 撰写论文初稿；
4. 参考文献（12篇以上）
| [1] 王盛玉,曾碧卿,胡翩翩.基于卷积神经网络参数优化的中文情感分析[J]. 计算机工程, 2017, 43(8):200-207, 214. [2] 陈晓东.基于情感词典的中文微博情感倾向分析研究[D]．武汉：华中科技大学，2012． [3] 陈 钊，徐睿峰，桂 林，等.结合卷积神经网络和词语情感序列特征的中文情感分析[J].中文信息学报，2015,29(6) : 172-178． [4] Socher R. Recursivedeep learning for natural language processing and computer vision[D].PaloAlto; Stanford University,2014. [5] Socher R, Chen D , Manning C D, et al.Reasoning with neural tensor networks for knowledge base completion[C]//Procof advances in Neural Information Processing Systems,2013;926-934. |
[6] Socher R, Perelygin A,Wu J Y,et al. Recursivedeep models for semantic compositionality over a sentiment Treebank[C]// Procof Conference of Empirical Methods in Natural LanguageProcessing(EMNLP),2013;1642
[7] Mikolov T，Sutskever I，Chen K，et al.Distributed Representations of Words and Phrases and Their Compositionality[C]//Proceedingsof the 26th International Conference on Neural Information Processing Systems．New York，USA: ACM Press，2013: 3111-3119．
[8] Tang Duyu，Wei Furu，Yang Nan，et al． Learning Sentiment-specificWord Embedding for Twitter Sentiment Classification [EB/OL].(2015-01-12).http: / / anthology． aclw eb． org / P / P14 / P14-1146． xhtml．
[9] Bengio Y，Ducharme R，Vincent P，et al.A Neural Probabilistic Language Model[J].Journal of MachineLearning Research,2003,3(6):1137-1155.
[10] 何鸿业,郑瑾,张祖平. 基于词性结合的卷积神经网络文本情感分析[J/OL]. 计算机工程:1-7[2017-12-26].
[11] 赵妍妍,秦兵,刘挺. 文本情感分析[J]. 软件学报,2010,21(08):1834-1848.
[12]杨立公,朱俭,汤世平. 文本情感分析综述[J]. 计算机应用,2013,33(06):1574-1578 1607.
[13] 梁斌, 刘全, 徐进,等. 基于多注意力卷积神经网络的特定目标情感分析 [J]. 计算机研究与发展 ,2017,54(8):1724-1735.
[14] Bengio Y, Schwenk H,Senécal J S, et al. Neural Probabilistic Language Models[M]// Innovations inMachine Learning. Berlin, Germany : Springer,2006:1137-1155.
[15] Giachanou A, Crestani F. LikeIt or Not: A Survey of Twitter Sentiment Analysis Methods[J]. Acm ComputingSurveys, 2016, 49(2):1-41.
