基于HDFS分布式存储的云盘系统的设计与实现开题报告

 2020-02-18 07:02

1. 研究目的与意义(文献综述)

hadoop作为apache基金会资助的开源项目,由doug#8194;cutting带领的团队进行开发,基于lucene和nutch等开源项目,实现了google的gfs和hadoop能够稳定运行在20个节点的集群;2006年1月,doug#8194;cutting加入雅虎公司,同年2月apache#8194;hadoop项目正式支持hdfs和mapreduce的独立开发。同时,新兴公司cloudera为hadoop提供了商业支持,帮助企业实现标准化安装,并志愿贡献社区。

1.1#8194;海量数据时代的现状#8194; 我们生活在数据的时代,很难估计全球的数据有多少,“数字宇宙”项目统计得出,2006年的数据总量为0.18zb,也就是10亿tb。以往数据处理速度不够,以100mb每秒计算,读取1tb的数据需要2个半小时。一个比较好的方案就是把数据放在100个磁盘中每个磁盘中存放1%的数据并行读取,不到2min就能读取所有数据。经过统计用户的分析工作会在不同的时间点进行,所以用户相互间的干扰不会太大。但是一旦硬件发生故障,用户的数据就会丢失,所以要准备多份。mapreduce将这个问题抽象,转化为对一个数据集合的计算。这个计算模型分为map和reduce两个阶段,只有这两个部分对外提供接口。#8194;举例#8194;rackspace的一个部门mailtrust:mapreduce是一种比较蛮力的办法,每个查询几乎需要处理整个数据集,至少是数据集的很大一部分。在合理的时间内对整个数据集合的数据即时查询,是对数据的一种创新。rackspace的mailtrust部门,使用hadoop处理邮件日志,他们做用户地理分布查询。“这些数据非常有用,每个月运行一次决定哪些rackspace数据中心需要添加新的邮件服务器“。通过整合数百gb的数据,并分析,可以通过这些数据改善现有服务。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容与方案

基本内容与目标:基于hdfs设计出分布式存储云盘从用户角度,整个系统划分为ecdisk客户端、ecdisk运营管理平台、hdfs分布式文件存储集群和账户数据应用平台四部分。

采用技术方案措施:hdfs服务接口:考虑到客户端开发环境为vc 2010,hdfs客户端api采用hadoop自身提供的thrift接口。用户数据库:用户数据库存储用户的账户信息,保留在mysql数据库中。内存数据库:为提高用户账户信息访问速度,所有当前在线用户(已登录)的账户数据都缓存到内存数据库中,内存数据库选用基于erlang实现的menisa。


剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 研究计划与安排

(1)第1-3周:查阅相关文献资料,明确研究内容,学习毕业设计研究内容所需理论的基础。

确定毕业设计方案,完成开题报告。

(2)第4-5周:学习hadoop框架,并能熟练运用hdfs技术。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 参考文献(12篇以上)

[1]王永洲. 基于hdfs的存储技术的研究[d]. 江苏:南京邮电大学, 2013.

[2] 林穗, 黄健, 姜文超,等. 基于 hdfs 的安全云存储模型[j]. 广东工业大学学报, 2014(3):49-54.

[3] 马建红, 霍振奇. 基于 hdfs 的创新知识云平台存储架构的研究与设计[j]. 计算机应用与软件, 2016, 33 (3):62-66.

剩余内容已隐藏,您需要先支付 5元 才能查看该篇文章全部内容!立即支付

该课题毕业论文、开题报告、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。