大数据旅游数据分析：基于Python旅游数据采集可视化分析推荐系统

文章目录

  • 基于Python旅游数据采集可视化分析推荐系统
    • 一、项目概述
    • 二、项目说明
    • 三、开发环境
    • 四、功能实现
    • 五、系统页面实现
      • 用户登录注册
      • 系统首页
      • 数据操作管理
      • 价格与销量分析
      • 旅游城市和景点等级分析
      • 旅游数据评分情况分析
      • 旅游数据评论情况分析
      • 旅游景点推荐
      • Django系统后台管理
    • 六、结语

基于Python旅游数据采集可视化分析推荐系统

一、项目概述

在互联网时代，各行各业的人们都在寻求增长点，人们的日常生活越来越离不开互联网。以旅游信息为例，线下大量的各种旅游信息基本只会出现在旅游会上，但是现如今，人们越来越重视时间成本，所以越来越多的年轻人在网上查找自己想要查找的旅游就业信息。然而，在互联网信息和海量数据源混合的情况下，如何快速精确的找到自己想要的数据是一个值得探讨的问题。

本系统主要针对解决获取旅游信息滞后、参加线下旅行社和人工检索时间成本高等问题，运用网络爬虫信息技术设计思想，实现了一个基于Python的旅游信息推荐系统。本系统以Python语言为基础，使用 requests爬虫对去哪儿旅游信息源进行抓取,针对网页信息编写抽取规则，对旅游信息进行必要的过滤和提取，使用MySql对旅游信息进行数据存储。然后使用 Python 开源web框架 Django进行系统搭建，基于旅游信息采用机器学习协同过滤推荐算法完成对用户的旅游信息推荐，完成整个爬取以及数据检索到成功进行旅游推荐的网页端操作展示。

二、项目说明

基于python旅游采集数据分析可视化推荐系统是基于Django框架开发的一个旅游信息采集和推荐的应用。该系统通过爬虫技术从各个旅游网站抓取旅游信息，并利用推荐算法对用户进行个性化推荐，同时提供可视化展示界面。

以下是该系统的主要功能和组成部分的介绍：

旅游信息采集：系统通过编写爬虫程序，定期从各大旅游网站抓取旅游景点、酒店、机票等相关信息，包括价格、评价、位置等。这些采集到的数据会被保存到数据库中供后续使用。

用户注册与登录：用户可以注册自己的账号，并通过登录来获取个性化推荐和享受更多功能。

个性化推荐：系统会根据用户的历史浏览记录、收藏记录以及其他行为数据，利用推荐算法生成个性化推荐结果。推荐算法使用协同过滤、内容过滤方法，根据用户的兴趣和偏好为其推荐最相关的旅游信息。

可视化展示界面：系统会将采集的旅游信息以可视化方式展示给用户，包括地图标记、图片展示、价格对比等功能。用户可以通过地图选择感兴趣的地区，查看该地区的旅游景点、酒店等信息。

用户交互和反馈：系统提供用户评价、评论和收藏等功能，用户可以对自己的旅游经历进行评价，同时也可以保存自己喜欢的旅游信息以便日后查看。

后台管理：系统提供一个后台管理界面，管理员可以对用户信息、采集的数据、推荐算法参数等进行管理和配置。

三、开发环境

开发环境版本/工具
PYTHON3.9.0
开发工具PyCharm2021.2.1
操作系统Windows 10
内存要求16GB
浏览器Firefox
数据库MySQL 8.0.26
数据库工具Navicat 15 for MySQL
项目技术栈Python语言、Django框架、MySQL数据库、requests网络爬虫技术、机器学习算法、BootStrap、数据可视化

四、功能实现

系统爬虫部分核心代码

  def spiderMain(self,resp,province):respJSON = resp.json()['data']['sightList']for index,travel in enumerate(respJSON):print('正在爬取该页第%s数据' % str(index + 1))time.sleep(2)detailAddress = travel['address']discount = travel['discount']shortIntro = travel['intro']price = travel['qunarPrice']saleCount = travel['saleCount']try:level = travel['star'] + '景区'except:level = '未评价'title = travel['sightName']cover = travel['sightImgURL']sightId = travel['sightId']# ================================= 详情爬取detailUrl = self.detailUrl % sightIdrespDetailXpath = etree.HTML(self.send_request(detailUrl).text)score = respDetailXpath.xpath('//span[@id="mp-description-commentscore"]/span/text()')if not score:score = 0star = 0else:score = score[0]star = int(float(score)*10)commentsTotal = respDetailXpath.xpath('//span[@class="mp-description-commentCount"]/a/text()')[0].replace('条评论','')detailIntro = respDetailXpath.xpath('//div[@class="mp-charact-intro"]//p/text()')[0]img_list = respDetailXpath.xpath('//div[@class="mp-description-image"]/img/@src')[:6]# ================================= 评论爬取commentSightId = respDetailXpath.xpath('//div[@class="mp-tickets-new"]/@data-sightid')[0]commentsUrl = self.commentUrl % commentSightIdcomments = []try:commentsList = self.send_request(commentsUrl).json()['data']['commentList']for c in commentsList:if c['content'] != '用户未点评，系统默认好评。':author = c['author']content = c['content']date = c['date']score = c['score']comments.append({'author': author,'content': content,'date': date,'score': score})except:comments = []resultData = []

在这里插入图片描述

基于用户的协同过滤推荐算法，用于根据用户的评分数据推荐其可能喜欢的其他景点。

基于用户的协同过滤算法部分核心代码：

在这里插入图片描述

def user_bases_collaborative_filtering(user_id,user_ratings,top_n=20):
# def user_bases_collaborative_filtering(user_id, user_ratings, top_n=3):# 获取目标用户的评分数据target_user_ratings = user_ratings[user_id]# 初始化一个字段，用于保存其他用户与目标用户的相似度得分user_similarity_scores = {}# 将目标用户的评分转化为numpy数组target_user_ratings_list = np.array([rating for _ , rating in target_user_ratings.items()])# 计算目标用户与其他用户之间的相似度得分for user,ratings in user_ratings.items():if user == user_id:continue# 将其他用户的评分转化为numpy数组user_ratings_list = np.array([ratings.get(item,0) for item in target_user_ratings])# 计算余弦相似度similarity_score = cosine_similarity([user_ratings_list],[target_user_ratings_list])[0][0]user_similarity_scores[user] = similarity_score# 对用户相似度得分进行降序排序sorted_similar_user = sorted(user_similarity_scores.items(),key=lambda x:x[1],reverse=True)# 选择 TOP N 个相似用户喜欢的景点 作为推荐结果recommended_items = set()for similar_user,_ in sorted_similar_user[:top_n]:recommended_items.update(user_ratings[similar_user].keys())# 过滤掉目标用户已经评分过的景点recommended_items = [item for item in recommended_items if item not in target_user_ratings]return recommended_items
  1. user_bases_collaborative_filtering 函数接受三个参数：
    • user_id: 目标用户的ID。
    • user_ratings: 包含用户评分信息的字典，其中键是用户ID，值是包含景点及其评分的字典。
    • top_n: 选择推荐结果的前N个景点，默认为20。
  2. target_user_ratings = user_ratings[user_id]：获取目标用户的评分数据，即目标用户对各个景点的评分。
  3. user_similarity_scores = {}：初始化一个空字典，用于保存其他用户与目标用户的相似度得分。
  4. target_user_ratings_list = np.array([...])：将目标用户的评分转换为 NumPy 数组，以便后续计算余弦相似度。
  5. 遍历 user_ratings 中的每个用户，计算目标用户与其他用户之间的相似度得分：
    • 将其他用户的评分转化为 NumPy 数组。
    • 使用余弦相似度计算两个用户之间的相似度得分。
    • 将相似度得分存储在 user_similarity_scores 字典中。
  6. sorted_similar_user = sorted(user_similarity_scores.items(),key=lambda x:x[1],reverse=True)：对用户相似度得分进行降序排序，得到一个包含用户ID和相似度得分的元组列表。
  7. recommended_items = set()：初始化一个集合，用于保存推荐的景点。
  8. 遍历排序后的相似用户列表，选择前 top_n 个相似用户喜欢的景点，将这些景点添加到 recommended_items 集合中。
  9. recommended_items = [item for item in recommended_items if item not in target_user_ratings]：过滤掉目标用户已经评分过的景点，得到最终的推荐结果。
  10. 返回 recommended_items，即推荐给目标用户的景点列表。

这个函数接受目标用户ID、用户评分字典以及要返回的推荐结果数量作为参数。它计算目标用户与其他用户的相似度得分，然后选择相似度最高的用户喜欢的景点作为推荐结果。

– 获取目标用户的评分数据

– 初始化一个字典，用于保存其他用户与目标用户的相似度得分

– 将目标用户的评分转化为numpy数组

– 计算目标用户与其他用户之间的相似度得分（余弦相似度）

– 对用户相似度得分进行降序排序

– 选择TOP N个相似用户喜欢的景点作为推荐结果

– 过滤掉目标用户已经评分过的景点

五、系统页面实现

启动项目，在终端窗口输入命令，这里我设置的端口在8091：

python manage.py runserver 8091

在这里插入图片描述

用户登录注册

在这里插入图片描述

系统首页

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

数据操作管理

在这里插入图片描述

价格与销量分析

在这里插入图片描述

旅游城市和景点等级分析

在这里插入图片描述

旅游数据评分情况分析

在这里插入图片描述

旅游数据评论情况分析

在这里插入图片描述

旅游景点推荐

在这里插入图片描述

Django系统后台管理

http://127.0.0.1:8091/admin

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

六、结语

基于python旅游采集数据分析可视化推荐系统的目标是为用户提供便捷的旅游信息获取和个性化推荐，并通过可视化展示使用户更好地了解和选择适合自己的旅游产品。它可以帮助用户节省时间和精力，提高旅行的满意度。

需项目资料/商业合作/交流探讨等可以添加下面个人名片，后续有时间会持续更新更多优质内容，感谢各位的喜欢与支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/710891.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

centos7 安装python3.8运行导入ssl报错，亲测验证有效版

centos7 安装python3.8运行导入ssl报错，亲测验证有效版

centos安装python3.7时遇到如下问题，查阅知需要的openssl版本最低为1.0.2，但是centos 默认的为1.0.1，所以需要重新更新openssl import _ssl # if we cant import it, let the error propagate ImportError: No module named _ssl1、安…
阅读更多...
【前端早早聊直播回顾】Harmony 时代的跨端方案

【前端早早聊直播回顾】Harmony 时代的跨端方案

上周末，凡泰极客CTO - 徐鹏受邀出席「前端早早聊」直播活动，并以【跨端新挑战-鸿蒙时代的跨端】为主题进行演讲。 摘取部分分享实录： 终端系统的数量和种类不断增长，开发者面临着多平台开发的挑战。以往开发者一般只需要维护iOS、…
阅读更多...
2024年3月阿里云服务器大规模价格下调后优惠折扣表

2024年3月阿里云服务器大规模价格下调后优惠折扣表

阿里云服务器ECS等核心产品价格全线下调，最高幅度达55%，2024年3月1日生效，针对ECS部分在售产品的官网折扣价、ECS计算型节省计划进行调整，生效后，基于官网折扣价的新购和续费，将按照新的价格进行计费。阿里…
阅读更多...
程序媛的mac修炼手册-- Node.js入门篇

程序媛的mac修炼手册-- Node.js入门篇

最近因为参与一个微信小程序的开发，开始摸索JavaScript。期间，需要基于Node.js安装微信开发工具的依赖项，所以又顺带学习了Node.js的包管理工具npm（Node Package Manager）。不过，之前看到国外的全栈大佬​​…
阅读更多...
flutter学习（一） 安装以及配置环境

flutter学习（一） 安装以及配置环境

首先需要下载flutter，然后解压 然后配置环境变量，配置到bin目录就行 配置完之后cmd运行flutter doctor 你就会发现，都是错 此时脑海里响起，卧槽，怎么回事，咋办 别着急，我教你。。。 问题 这…
阅读更多...
RK3568 RK809电源管理 RTC功能使能 定时唤醒

RK3568 RK809电源管理 RTC功能使能 定时唤醒

概述 RK809 是一款高性能 PMIC，RK809 集成 5 个大电流 DCDC、9 个 LDO、2 个 开关SWITCH、 1个 RTC、1个 高性能CODEC、可调上电时序等功能。 系统中各路电源总体分为两种：DCDC 和 LDO。两种电源的总体特性如下（详细资料请自行搜索）： DCDC：输入输出压差大时，效率高，但…
阅读更多...
python学习笔记 - 标准库常量

python学习笔记 - 标准库常量

Python 中有一些内置的常量，它们是一些特殊的值，通常不会改变。以下是其中一些常见的内置常量及其详细解释以及使用示例： True： 表示布尔值真。给 True 赋值是非法的并会引发 SyntaxError。 x True print(x) # 输出&#xff1a…
阅读更多...
内网穿透 nas/树莓派+ipv4服务器 （ipv6）

内网穿透 nas/树莓派+ipv4服务器 （ipv6）

nas 1.有个服务器 2.有个nas https://github.com/snail007/goproxy/blob/master/README_ZH.md https://github.com/snail007/proxy_admin_free/blob/master/README_ZH.md 2个官网一个是程序，一个是网站 手册 https://snail007.host900.com/goproxy/manual/zh/#/?i…
阅读更多...
Unity3D Shader事项法线贴图功能详解

Unity3D Shader事项法线贴图功能详解

前言 Unity3D它提供了丰富的功能和工具，使开发人员能够轻松创建出色的游戏和应用程序。其中Shader是Unity3D中非常重要的一部分，它可以帮助开发人员实现各种视觉效果，包括法线贴图功能。 对惹，这里有一个游戏开发交流小组&#…
阅读更多...
rocketmq+rocket-dashboard win10安装部署+注册为Windows服务

rocketmq+rocket-dashboard win10安装部署+注册为Windows服务

1.1 首先去官网下载zip包 选择自己需要的版本 下载 | RocketMQ 1.2 、下载后，解压到指定目录 1.3、配置RocketMQ环境变量 注意，看对应的版本需要jdk版本 1.4、启动mqnameserver 进入bin目录下，双击启动mqnamesrv.cmd 启动后，…
阅读更多...
灰度图像转化为黑白图像、转化图像为一位位深度的图像（仅保留黑色）

灰度图像转化为黑白图像、转化图像为一位位深度的图像（仅保留黑色）

/// <summary> /// 灰度图像处理 /// </summary> public class PicGray {/// <summary>/// 获取pic图像对应的黑白图像/// </summary>/// <param name"pic"></param>/// <param name"NumGray">像素灰度值</p…
阅读更多...
webpack5基础--02_基本配置（ 5 大核心概念）

webpack5基础--02_基本配置（ 5 大核心概念）

基本配置 在开始使用 Webpack 之前&#xff0c;我们需要对 Webpack 的配置有一定的认识。 5 大核心概念 entry&#xff08;入口&#xff09; 指示 Webpack 从哪个文件开始打包 output&#xff08;输出&#xff09; 指示 Webpack 打包完的文件输出到哪里去&#xff0c;如何…
阅读更多...
Vue项目构建时遇到的问题

Vue项目构建时遇到的问题

Vue项目构建时遇到的问题与上线相关问题 项目构建遇到的问题构建指令关于JavaScript文件无法识别的问题关于element-plus组件库中的模块显示找不到的问题关于路由懒加载时组件路径报错问题关于项目静态资源基准路径的设置关于路由模式的问题 关于nginx服务器的使用 项目构建遇到…
阅读更多...
事物管理(黑马学习笔记)

事物管理(黑马学习笔记)

事物回顾 在数据库阶段我们已学习过事务了&#xff0c;我们讲到&#xff1a; 事物是一组操作的集合&#xff0c;它是一个不可分割的工作单位。事务会把所有的操作作为一个整体&#xff0c;一起向数据库提交或者是撤销操作请求。所以这组操作要么同时成功&#xff0c;要么同时…
阅读更多...
java实现根据 表索引 批量新增或更新数据信息

java实现根据 表索引 批量新增或更新数据信息

目的 通过数据库名、表名实现动态添加活更新数据。添加或更新由唯一索引判断。 实现 思路 查询数据库表的唯一索引-CSDN博客 根据数据库表名动态查询表字段-CSDN博客 达梦数据库根据唯一索引批量新增或更新数据-CSDN博客 将数据转换为sql语句需要的格式 完善代码&#xff0c;实…
阅读更多...
maven常用打包命令

maven常用打包命令

1.背景 2.代码 1 mvn常用命令 一般情况下对于一个maven项目&#xff0c;cd切换到当前项目路径下&#xff0c;执行如下示例命令即可对项目进行打包。 mvn clean install mvn -U clean package -Dmaven.test.skiptrue mvn clean package -Dmaven.test.skiptrue -P prod mvn cle…
阅读更多...
JavaScript数组操作指南：20个精通操作技巧指南

JavaScript数组操作指南：20个精通操作技巧指南

splice、 slice、 pop 和 shift。数组的排序方法是稳定且非原地算法的吗&#xff1f;要记住所有 JavaScript 数组方法以及它们之间的区别并不容易。它们的名称相似&#xff0c;就好像直接从同义词词典中提取一样。 这个数组速查表列出了 JavaScript 中通常需要的所有数组方法&…
阅读更多...
Gson使用Object接收长数字问题

Gson使用Object接收长数字问题

近期发现公司同事在使用Gson对数字进行反序列列化时出现丢失精度的问题&#xff0c;在这里搬运一下&#xff0c;做个记录~ 现象 使用Gson反序列化长Long数字(大于16位),如果用Object类型来接收则会丢失精度。 Gson会将数字反序列化为double类型,double类型本身就容易丢精度。…
阅读更多...
小程序基础

小程序基础

小程序基础 1. 认识什么是小程序 什么是微信小程序 微信小程序是一种运行在微信内部的 轻量级 应用程序。 在使用小程序时 不需要下载安装&#xff0c;用户 扫一扫 或 搜一下 即可打开应用。它也体现了 “用完即走” 的理念&#xff0c;用户不用关心安装太多应用的问题。它…
阅读更多...
weak的实现原理

weak的实现原理

iOS 在运行时维护着一个全局的弱引用表&#xff0c;该表是一个 hash 表&#xff0c;hash表的 key 是 对象本身&#xff0c;value 是指向该对象的所有 weak 指针的地址数组。 /**全局的弱引用表&#xff0c;本质是一个hash结构&#xff0c;对象本身作为key, 存储weak修饰的指…
阅读更多...
最新文章

Copyright @ 2022~2023