基于python的百度迁徙迁入、迁出数据分析(三)

百度迁徙定义

百度迁徙释义:

百度迁徙以用户常住地所在地市或停留超过一天的非常住地定义为出发城市,以用户离开出发城市,并在非出发城市停留超过4 h以上定义为到达城市。采用4h阈值,排除了城际出行中的途经地。

定义参考来源:人口迁居视角下的中国人口城镇化空间格局——基于百度迁徙数据的研究 - 中国知网 (cnki.net)

 是钮心毅这位博导的2023年9月的文章,并在文中感谢了百度慧眼官方的支持,所以这个定义大概率是官方给出的定义,可以更明确的指导我们对数据的应用;

历史数据可溯源的时间区间

这里补充一历史迁徙数据来源可以溯源的时间区间,上次只是粗略测了一下,这次给出具体可以获取的历史数据时间区间;

这里以上海迁入为例,打开“开发人员工具”,快捷键Ctrl+Shift+i,点击网络,快捷键Ctrl+R刷新页面;

快捷键Ctrl+F,搜索historycurve,找到这个文件,双击打开;huiyan.baidu.com/migration/historycurve.jsonp?dt=province&id=310000&type=move_in&callback=jsonp_1722252952677_1248358

我们可以看到百度迁徙数据记录了这个城市从2019年1月12日到2019年3月9日,2023年1月4日到今天的所有迁徙指数,所以我们可以查到历史数据的范围就明确了(20190112, 20190309),(20240104, 20240728),也就是直到今天的截止日期前一天的数据;

当然这些数据看着密密麻麻比较费眼神,我们把它导出.csv,编码用了''gb18030 ''支持简体中文、繁体中文以及一些少数民族的文字,是一种比较全面的中文编码方案;

import pandas as pd
import requests
import json
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retrydef get_migration_index(direction):# 创建一个会话对象来保持请求之间的状态session = requests.Session()# 定义重试策略以应对连接问题retry_strategy = Retry(connect=5, backoff_factor=0.5)# 设置 HTTP 和 HTTPS 适配器,并应用重试策略adapter = HTTPAdapter(max_retries=retry_strategy)session.mount('http://', adapter)session.mount('https://', adapter)# 定义 CSV 文件保存的路径file_path = './'try:# 动态构建 URLurl = f'https://huiyan.baidu.com/migration/historycurve.jsonp?dt=city&id=310000&type={direction}'# 发送 GET 请求response = session.get(url)# 检查响应状态码response.raise_for_status()  # 如果响应状态码不是 200,则抛出异常# 获取响应文本并去除开头和结尾的不需要的部分response_text = response.text[4:-1]# 将处理后的文本转换为字典data_dict = json.loads(response_text)# 检查是否成功获取数据if data_dict['errmsg'] == 'SUCCESS':# 从字典中提取数据列表migration_data = data_dict['data']['list']# 创建一个 DataFrame 对象,将数据列表作为列,并转置以便按行存储dataframe = pd.DataFrame({f'上海市_{direction}': migration_data}).T# 保存 DataFrame 到 CSV 文件dataframe.to_csv(file_path + f'上海市历史迁{direction}指数.csv', encoding='gb18030')#  gb18030 支持简体中文、繁体中文以及一些少数民族的文字,是一种比较全面的中文编码方案print(f"数据已成功保存到 {file_path} 上海市历史迁{direction}指数.csv")else:print("未能成功获取数据,请检查 URL 或服务器响应。")except requests.exceptions.RequestException as e:print(f"请求过程中发生错误:{e}")except (KeyError, ValueError) as e:print(f"数据解析错误:{e}")# 调用函数,传入 'move_in' 参数表示迁入数据
get_migration_index('move_in')  #  迁出move_out

为了看着更加直观,对输出结果略做调整,这里只做示意,只要了解我们可以获取历史数据区间即可;

文章仅用于分享个人学习成果与个人存档之用,分享知识,如有侵权,请联系作者进行删除。所有信息均基于作者的个人理解和经验,不代表任何官方立场或权威解读。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/877291.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

filament 初使用记录

安装初始化 一、环境准备 官网要的 我安装的 二、下载安装 安装laravel composer create-project --prefer-dist laravel/laravel 项目名称 10.*导入 filament composer require filament/filament注册 filament 管理面板 php artisan filament:install --panels初始化…

freertos-HAL库-STM32Cubemax生成

打开cubemax选好型号配置RCC(外部高速时钟)这里查看原理图,我们把按键设为输入,led设为输出创建两个新任务(default是系统创建的)配置时钟,这里HSE是外部高速时钟,HSI是内部的&#…

axure10的安装与使用教程,问题整理

前言: axure10的安装与激活使用教程。 1、百度网盘下载相关资料 链接:https://pan.baidu.com/s/1OSD9J1wVuIptGxeRzwjlpA?pwddkbj 提取码:dkbj 2、开始安装,点击setup的安装包 除了更改地址外,其他的默认就行&…

构建实时Java数据处理系统:技术与实践

构建实时Java数据处理系统:技术与实践 大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!今天,我们将深入探讨如何构建一个实时Java数据处理系统。这涉及到数据流处理、实时计算以…

软件可靠性测试方法

可靠性测试方法, 也是一些通用的测试方法, 和具体业务无关, 包括: 异常值输入法。故障植入法。稳定性测试法。压力测试法。恢复测试法。 1.异常值输入法 异常值输入法是一种使用系统不允许用户输入的数值( 即异常值&a…

Matlab编程资源库(15)数值积分

一、基本原理 求解定积分的数值方法多种多样,如简单的梯形法、辛普生(Simpson)法、牛顿-柯特斯(Newton-Cotes)法等都是经常采用的方法。它们的基本思想都是将整个积分区间[a,b]分成n个子区间[xi,xi1] ,i1,2,…,n,其中 x 1a&#…

2024年PINN网络​还在火!发论文侧重点在哪儿?

2024年了,PINN网络依然火爆,各大顶会顶刊都能看见它的相关论文。 这是因为,AI交叉学科通常离不开求解偏微分方程PDE,而传统的求解方法受初始假设限制,一旦没设好就会导致很大的误差。 PINN作为一种新的思路&#xff…

气象水文耦合模WRF-Hydro建模技术

原文链接:气象水文耦合模WRF-Hydro建模技术https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247610398&idx4&sn34b4bbed4c74dcbbb0ac19ef8dcdaaff&chksmfa8271f9cdf5f8ef34ea6f721736a2fbbf8be896744ab7e46caa571c52a30628f056b4bd6964&t…

element-ui+vue2实现粘贴上传

element-uivue2实现粘贴上传 <style scoped lang"scss">.img-upload{position: relative;display: inline-block;margin-right: 9px;}.image {width: 100px;height: 100px;margin-right: 9px;}.image:last-child{margin-right: 0;}.img-upload .el-upload--pic…

Java学习|初识热加载

文章目录 引言Java热加载概念热加载与传统部署的区别热加载的好处风险与挑战 技术背景类加载机制类加载器层次结构 实现方法1. 使用Java Agent示例代码 2. 利用JRebel (XRebel)配置使用场景 3. Spring Boot DevTools配置使用场景 4. 动态类加载示例代码 5. JIT编译器的热替换示…

【嵌入式英语教程--7】C语言中的数据类型与内存管理

C语言中的数据类型与内存管理 英文原文 In the C programming language, data types define the kind of data that can be stored in variables. Common data types include integers, floating-point numbers, characters, and strings. The choice of data type has impli…

Python面试整理-第三方库

Python社区提供了大量的第三方库,这些库扩展了Python的功能,覆盖了从数据科学到网络应用开发等多个领域。以下是一些非常流行和广泛使用的第三方库: 1. NumPy ● 用途:数值计算。 ● 特点:提供了一个强大的N维数组对象和大量用于数学运算的函数。 ● 应用场景:科学计算、…

又一新AI搜索工具,OpenAI 推出新的搜索方式 SearchGPT

系列文章目录 每天推荐AI工具系列文章回顾&#xff1a; 选择 haiyi海艺图像生成、LoRA、模型的使用和训练网站 tusiart吐司艺术图像生成、LoRA 模型的使用和训练网站 解锁AI创造力的无限可能&#xff1a;探索Vivago.ai的革命性功能 文章目录 系列文章目录前言一、SearchGPT…

<数据集>手机识别数据集<目标检测>

数据集格式&#xff1a;VOCYOLO格式 图片数量&#xff1a;16172张 标注数量(xml文件个数)&#xff1a;16172 标注数量(txt文件个数)&#xff1a;16172 标注类别数&#xff1a;1 标注类别名称&#xff1a;[Phone] 使用标注工具&#xff1a;labelImg 标注规则&#xff1a;…

shell语言中的 、;、|有什么不同?

在 shell 脚本语言中&#xff0c;&&、; 和 | 是三种不同的命令分隔符和控制结构符号&#xff0c;它们分别用于不同的目的&#xff1a; && (AND 运算符) 这个运算符用于连接两个命令&#xff0c;其中第二个命令只有在第一个命令成功执行后才会运行。 例如&am…

什么是线程安全?

什么是线程安全&#xff1f; 为什么需要线程安全&#xff1f;如何实现线程安全&#xff1f;1. 排队干活2. 自己带工具3. 用现成的安全工具 4、示例5、总结 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 在编程里&#xff0c;特别是当程序能…

推荐一款专注批量推送消息的轻量工具,支持主流平台的消息推送,简单、高效、低成本(附源码)

前言 在数字化时代&#xff0c;企业和个人面临着日益增长的消息推送需求。然而&#xff0c;现有的推送处理方案往往存在一些挑战和不足&#xff0c;如cao作复杂、成本高昂、缺乏灵活性等。这些问题不仅影响了推送效率&#xff0c;也增加了用户的负担。此外&#xff0c;随着工作…

Springboot 不同定时任务实现及场景

实现1、通过开启EnableScheduling 及注解Scheduled 实现定时执行任务 【完整示例】 package org.javatrip.springboottimer;import org.springframework.scheduling.annotation.EnableScheduling; import org.springframework.scheduling.annotation.Scheduled; import org.s…

华为od 100问 持续分享10-华为OD的面试流程细说

我是一名软件开发培训机构老师&#xff0c;我的学生已经有上百人通过了华为OD机试&#xff0c;学生们每次考完试&#xff0c;会把题目拿出来一起交流分享。 重要&#xff1a;2024年5月份开始&#xff0c;考的都是OD统一考试&#xff08;D卷&#xff09;&#xff0c;题库已经整…

Matlab编程资源库(16)数值微分

一、数值差分与差商 在Matlab中&#xff0c;数值差分与差商是数值分析中常用的概念&#xff0c;尤其在求解微分方程、插值、逼近等领域有广泛应用。下面简要介绍这两个概念及其在Matlab中的实现。 数值差分 数值差分是微分运算的离散化形式&#xff0c;用于近似求解导数。给定…