登录

  • 登录
  • 忘记密码?点击找回

注册

  • 获取手机验证码 60
  • 注册

找回密码

  • 获取手机验证码60
  • 找回
毕业论文网 > 文献综述 > 理工学类 > 数学基地 > 正文

基于稀疏自动编码器的非监督特征学习文献综述

 2020-04-15 05:04  

1.目的及意义

1.1课题研究的目的及意义

我们处在一个科技高速发展的时代,越来越多的信息与数据充斥在我们的生活中。然而在对数据进行分类时常常会面临这样的一些问题:缺乏足够的先验知识,导致很难人工进行分类;又或者人工分类所需花费的代价太大。于是人们开始思考利用计算机来代替人类完成各类工作。

这些存在于生活中的事物与现象往往都是十分复杂的,而我们则希望以更加简单明了的方式来描述一个复杂表象下事物的本质,即通过多个主要变量来描述一种事物,这些变量就是所谓的特征,特征正是机器学习里的基础。一个算法的优劣很大程度上取决于数据特征的表达,当一个数据能够较好的被表现成特征时,那么这个算法才能算得上成功。在我们的生活中,数据大多都是高维的,在不进行降维处理的情况下,分类很难得到理想的结果,因此,深度学习框架和非监督学习方法的结合一直是机器学习和人工智能领域研究的热点,而自编码器在数据降维方面表现了很高的性能和表达能力的稳定性。在稀疏自动编码器中,稀疏性的意思即当一个神经元的输出接近于1时,我们认为它被激活,而当其输出接近于0时,我们认为它被抑制,使得神经元大部分时间都被抑制的限制我们称其为稀疏性限制。之所以要将隐含层稀疏化,是因为如果隐藏神经元的数量较大,不稀疏化我们无法得到输入的压缩表示。具体来说就是,如果我们给隐藏神经元加入稀疏性限制,那么自编码神经网络即使在隐藏神经元数量较多的情况下仍然可以发现输入数据中一些有趣的结构。

1.2国内外研究现状

对于深度学习框架和非监督学习方法的研究,早在20世纪80年代,Hopfield首先将能量函数引入到神经网络中,BP算法引发了一次研究神经网络的高潮。但是,其仅限于浅层的神经网络,在处理更深层次的神经网络时取得的效果并不理想。2006年,Hinton 等人提出了用自学习初始化参数, 然后再逐步调优的方法来解决深层网络的学习问题, 深层神经网络才开始受到重视。2012年,Hinton等人利用GPU实现了一个深度神经网络,以dropout方法抑制过拟合实现了高精度的图像分类。2011年开始,微软和谷歌等先后采用DNN技术在语音识别方面取得了突破性的进展。现如今,深度学习框架和非监督学习方法是机器学习和人工智能领域研究的热点,已在各个领域方面取得了成功,但其针对特定问题,只有经验公式,缺乏一定的理论支撑。不可否认的是,深度学习框架和非监督学习方法的作用是不可替代的,对其进行深度的学习与研究具有非常重要的意义。




剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

企业微信

Copyright © 2010-2022 毕业论文网 站点地图