登录

  • 登录
  • 忘记密码?点击找回

注册

  • 获取手机验证码 60
  • 注册

找回密码

  • 获取手机验证码60
  • 找回
毕业论文网 > 开题报告 > 计算机类 > 计算机科学与技术 > 正文

基于scrapy爬虫技术的电商平台数据分析系统开题报告

 2022-01-14 08:01  

全文总字数:1879字

1. 研究目的与意义及国内外研究现状

随着互联网的普及,电商行业在最近几年得到了迅猛发展。商务部统计数据显示,2012年到2016年,我国网络购物用户人数从2.42亿人增长至4.67亿人,增长近一倍。电子商务交易额从8.1万亿元增长至26.1万亿元,年均增长34%。其中,网络零售交易额从1.31万亿元增长至5.16万亿元,年均增长40%,对社会消费品零售总额增加值的贡献率从17%增长至30%。电子商务发展直接和间接带动的就业人数从1500万人增长至3700万人。2017年全国电子商务交易额达29.16万亿元,同比增长11.7%。其中商品、服务类电商交易额21.83万亿元,同比增长24.0%。相关数据统计,2017双11期间全网20家平台实时销售数据显示全网总销售额是2539.7亿,其中阿里,京东,苏宁易购和首次参加双11的唯品会交易总额占全网双11成交额的95.3%,其余电商只有不到4.7%市场份额。

经过多年发展,目前规模较大电子商务平台企业纷纷开始构建生态系统,平台为商家和消费者提供交易、支付、物流等各方面全周期支持与服务,各大平台与平台商家之间依存越来越紧密,阿里系、腾讯系、百度系、京东系等主体均取得了显著规模效益。

所以对各大电商平台进行数据爬取并进行深度挖掘、分析成为了必要,这有利于我们对社会消费趋势、大众消费偏好进行全面了解,同时也可以动态、实时跟踪各电商平台的商品数据,了解各电商平台的商业战略和服务意识。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容

本课题主要使用python语言,并综合使用python社区的开源库。利用scrapy对各大电商网站进行数据爬取,然后对爬取的电商数据进行深度挖掘、分析、统计,最后把数据的分析结果进行可视化展示,展示的方式是图表。为使用者提供一个使用方便、系统稳定、运行流畅、界面美观的爬虫及数据分析系统。

3. 实施方案、进度安排及预期效果

本课题的实行方案:前期研究设计目的和意义、调查设计需求、进行相关文献和实例的研究、掌握一定的相关技术和设计方法;中期进行大体框架的设计、具体模块的设计、详细设计、具体实施;后期进行相关的测试和修改。

进度安排:

2018年12月20-2019年1月20日:搜集资料,完成开题。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 参考文献

[1] 张喜红,王玉香.基于scrapy的中药材网络信息采集方法研究[j].江汉大学学报(自然科学版),2018,46(06):522-527.

[2] 任洛漪.基于scrapy的商务网站数据抓取[j].信息与电脑(理论版),2018(19):56-57.

[3] 冯传新,杨保华.基于scrapy框架的京东数据分析系统设计与实现[j].价值工程,2018,37(28):255-258.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

企业微信

Copyright © 2010-2022 毕业论文网 站点地图