随着信息技术和网络技术的飞速发展，人类已进入全新信息化时代，传统管理技术已无法高效，便捷地管理信息。为了迎合时代需求，优化管理效率，各种各样的管理系统应运而生，各行各业相继进入信息管理时代，爬虫就是信息时代变革中的产物之一。
任何系统都要遵循系统设计的基本流程，本系统也不例外，同样需要经过市场调研，需求分析，概要设计，详细设计，编码，测试这些步骤，基于Python语言、 Django框架、B/S架构、Mysql数据库设计并实现了爬虫系统。系统主要包括用户、类型、资料作品、我的收藏等功能模块。 (1)绪论
网站的开发背景，意义和系统状况等，详细讲述了系统的用处，对本章进行总结。
(2)系统开发技术的介绍
分别对Python语言、 Django框架、Mysql和B/S进行详细介绍。
(3)系统分析
本章主要是对系统可行性、系统性能、还有系统功能需求进行分析。
(4)系统设计
对系统系统功能和数据库等进行详细讲解。
(5)系统的实现
主要对首页、个人中心、用户管理、类型管理、资料作品管理、管理员管理、爬虫管理、我的收藏管理、系统管理的实现。
(6)系统的测试
在系统编码实现后，就需要对系统进行检测，检测的方法有黑盒测试和白盒测试两种方式，本网站采用的是黑白盒测试方法对不同组的数据进行功能模块测试。
本文首先介绍了爬虫系统技术的发展背景与发展现状，然后遵循软件常规开发流程，首先针对系统选取适用的语言和开发平台，根据需求分析制定模块并设计数据库结构，再根据系统总体功能模块的设计绘制系统的功能模块图，流程图以及E-R图。然后，设计框架并根据设计的框架编写代码以实现系统的各个功能模块。最后，对初步完成的系统进行测试，主要是功能测试、单元测试和性能测试。测试结果表明，该系统能够实现所需的功能，运行状况尚可并无明显缺点。
目 录
第一章 概述 1
1.1 研究背景 1
1.2开发意义 1
1.3 研究现状 1
1.4 研究内容 2
1.5论文结构 2
第二章 开发技术介绍 3
2.1 系统开发平台 3
2.2 平台开发相关技术 3
2.2.1 Python简介 3
2.2.2 Mysql数据库介绍 4
2.2.3 MySQL环境配置 4
2.2.4 B/S架构 4
2.2.5 Django框架介绍 4
第三章 系统分析 5
3.1 可行性分析 5
3.1.1 技术可行性 5
3.1.2 操作可行性 6
3.1.3经济可行性 6
3.2性能需求分析 6
第四章 系统设计 7
4.1功能结构 7
4.2 数据库设计 8
4.2.1 数据库E/R图 8
4.2.2 数据库表 9
第五章 系统功能实现 10
5.1管理员功能模块 10
5.2用户功能模块 11
5.3前台首页功能模块 11
第六章 系统测试 12
第七章 总结与心得体会 12
7.1总结 13
7.2心得体会 13
致 谢 14
参考文献 14
