基于python的旅游爬虫可视化与实现

摘要

本项目为基于python的旅游爬虫可视化的设计与实现，项目以Web系统形式展示，利用Xpath爬虫爬取去哪儿网针对旅游业的需求，对国内热门旅游景点数据可视化系统，将爬取好的数据保存为CSV文件，再通过ORM框架导入MySQL数据库中，最后以Django+ECharts+Bootstrap搭建可视化界面，将可视化分析结果展示出来。最后结合旅游网站的特点，创建基于Django的旅游数据分析平台，爬取旅游网站的数据，然后通过数据分析和可视化，给出全国热门旅游城市和地区的时段分析和出行数据分析。系统具有较为强大的功能、良好的互动性，满足了旅游业和游客的实际需求。

需求分析

在这里插入图片描述
子系统的详细设计按照系统开发业务分析要求和原则，在与系统管理人员的充分沟通后，整理出旅游数据分析系统所需求的基本功能和用户界面的一些需求，这些需求将作为系统分析和逻辑设计的依据。
（1）基本功能需求：
1.实现用户的登录和注册功能；
2.应该能够存储用户数据（账号密码）、旅游地、所需费用、玩法类型、陪同类型及数据来源链接等多种数据信息；
3. 该提供对这些信息的展示、重定向等操作；
4. 该提供添加、修改用户的功能；
（2）GUI美观功能设计

数据进行分页处理，避免页面赘长；
应当对数据进行可视化，图表需要具备动态效果；
重定向应该贯彻在数据展示功能内，用户可以访问数据源；
（3）业务流程设计
中间件验证用户登录session；
数据回传至前端
旅游数据分析系统提供给用户 WEB 的界面，此界面要求操作清晰，页面简洁美观，并尽可能地为用户的浏览提供便利。系统用户能通过此界面完成信息阅览的功能，也能对数据源进行溯源。