摘要
本项目为基于python的旅游爬虫可视化的设计与实现,项目以Web系统形式展示,利用Xpath爬虫爬取去哪儿网针对旅游业的需求,对国内热门旅游景点数据可视化系统,将爬取好的数据保存为CSV文件,再通过ORM框架导入MySQL数据库中,最后以Django+ECharts+Bootstrap搭建可视化界面,将可视化分析结果展示出来。最后结合旅游网站的特点,创建基于Django的旅游数据分析平台,爬取旅游网站的数据,然后通过数据分析和可视化,给出全国热门旅游城市和地区的时段分析和出行数据分析。系统具有较为强大的功能、良好的互动性,满足了旅游业和游客的实际需求。
需求分析
子系统的详细设计按照系统开发业务分析要求和原则,在与系统管理人员的充分沟通后,整理出旅游数据分析系统所需求的基本功能和用户界面的一些需求,这些需求将作为系统分析和逻辑设计的依据。
(1)基本功能需求:
1.实现用户的登录和注册功能;
2.应该能够存储用户数据(账号密码)、旅游地、所需费用、玩法类型、陪同类型及数据来源链接等多种数据信息;
3. 该提供对这些信息的展示、重定向等操作;
4. 该提供添加、修改用户的功能;
(2)GUI美观功能设计
- 数据进行分页处理,避免页面赘长;
- 应当对数据进行可视化,图表需要具备动态效果;
- 重定向应该贯彻在数据展示功能内,用户可以访问数据源;
(3)业务流程设计 - 中间件验证用户登录session;
- 数据回传至前端
旅游数据分析系统提供给用户 WEB 的界面,此界面要求操作清晰,页面简洁美观,并尽可能地为用户的浏览提供便利。系统用户能通过此界面完成信息阅览的功能,也能对数据源进行溯源。
运行截图
获取方式
Gitee仓库