1. 研究目的与意义（文献综述）

本毕业设计的选题名称为《基于大数据的分布式互联网航运交通数据采集系统》。数据采集是大数据系统的重要组成部分，它涉及到海量数据的抓取、存储、清洗和预处理等工作。本毕业设计要求在学习大数据、数据采集等技术的基础上，基于python语言，利用大数据平台，针对航运交通大数据系统的应用需求，开发一个基于大数据的分布式互联网航运交通数据采集系统。

1.1 研究的目的

2. 研究的基本内容与方案

为了更便捷地收集和利用长江航道航运交通信息，我们设计了此套基于大数据的分布式互联网航运交通数据采集系统。

2.1 基本内容与研究目标

3. 研究计划与安排

1) 2.18-3.10（第1-3周）：完成毕业设计选题调研、文献阅读和外文翻译，收集相关资料，完成开题报告，进行小组内答辩。上传开题报告到教务处网，完成开题任务。

2) 3.04-3.24（第3-5周）：熟悉相关理论知识、设计工具和计算机语言。初步设计所需分布式集群和分布式文件系统，初步编写所需地语言程序和设计图纸，初步获得需要采集的数据信息。

3) 3.25-4.07（第6-7周）：进一步完善设计的系统，能够将系统整体结合起来调试和运行；完善对采集得到的数据的预处理和简单处理分析；完善系统工作的平台界面。

4. 参考文献（12篇以上）

[1] GJOKA M. Measurement of online social networks[M]. 2010:29.
[2] CATANESE S A, MEO P D, FERRARA E, et al. Crawling Facebook for social network analysis purposes[C]//International Conference on Web Intelligence. 2011:1-7.
[3] PIRKOLA A. Focused crawling: a means to acquire biological data from the web[C]// VLDB: volume 7. 2007: 23-28.
[4] HEYDON A, NAJORK M. Mercator: A scalable, extensible web crawler[J]. World Wide Web-internet and Web Information Systems, 1999, 2(4):219-229.
[5] OLSTON C, NAJORK M, et al. Web crawling[J]. Foundations and Trends in Information Retrieval, 2010, 4(3):175-246.
[6] SHKAPENYUK V, SUEL T. Design and implementation of a high-performance distributed webcrawler[C]// International Conference on Data Engineering. 2002:357-368.
[7]闫文豪, 舒娱琴, 黄植钦. 基于网络爬虫的实时交通数据自动采集 [J]. Advances in Geosciences, 2016, 6(03): 169.
[8]基于情感分布的微博热点事件发现[J]. 中文信息学报, 2012, 26(1):84-91.
[9] 高立佳. 基于MongoDB与WebGL的船舶大数据可视化研究[D]. 大连海事大学, 2016.
[10] 张春菊. 基于网络爬虫的地名数据库维护方法[J]. 地球信息科学学报, 2011, 13(4):492-499.
[11] 李欢. 基于API天气数据抓取的特定网络爬虫的研究与实现[D]. 燕山大学, 2014.
[12] 李代祎, 谢丽艳, 钱慎一,等. 基于Scrapy的分布式爬虫系统的设计与实现[J]. 湖北民族学院学报(自然科学版), 2017, 35(3):317-322.
[13] 石恩名,肖晓军,卢宇. 基于云平台的分布式高性能网络爬虫的研究与设计[J]. 电信科学, 2017(8):180-186.
[14] 李优. 基于Hadoop的分布式网络爬虫设计与实现[D]. 西北大学, 2018.
[15] MIRTAHERI S M, DINCTURK M E, HOOSHMAND S, et al. A brief history of web crawlers[J]. conference of the centre for advanced studies on collaborative research, 2013: 40-54.