利用python批量将.shp文件转换坐标生成.geojson文件,再将.geojson转换成.csv文件,最后将csv文件插入数据库表

第一步:.shp批量转.geojson

# author: JMY
# 创建时间: 2024/2/26 17:12
# 批量将.shp文件生成geojson文件并转换坐标为3857import os
import geopandas as gpd# 定义输入和输出文件夹路径
input_folder = 'shp文件'
output_folder = 'geojson文件'# 定义输入和输出坐标系
out_proj = 'EPSG:3857'# 获取输入文件夹下所有的 Shapefile 文件
shapefiles = [f for f in os.listdir(input_folder) if f.endswith('.shp')]# 循环处理每个 Shapefile 文件
for index, shapefile in enumerate(shapefiles):print('转换第%d条数据...' % (index+1))# 读取 Shapefile 文件gdf = gpd.read_file(os.path.join(input_folder, shapefile))# 对几何数据进行坐标系转换gdf.to_crs(out_proj, inplace=True)# 构造输出文件名,将 '.shp' 替换为 '.geojson'output_file = os.path.splitext(shapefile)[0] + '.geojson'# 保存为 GeoJSON 文件gdf.to_file(os.path.join(output_folder, output_file), driver='GeoJSON')print('Shapefile 转换为包含 EPSG:3857 坐标系的 GeoJSON 完成!')

第二步:.geojson批量转.csv

# author: JMY
# 创建时间: 2024/2/23 15:16
# 批量将geojson文件生成csv文件import os
import geopandas as gpd
import json# 定义一个函数,用于从几何信息中提取坐标
def extract_coordinates(geom):if geom:return json.dumps(geom.__geo_interface__['coordinates'])else:return None# 输入目录和输出目录路径
input_dir = 'geojson文件'  # GeoJSON 文件所在目录路径
output_dir = 'csv文件'  # CSV 文件保存目录路径# 获取输入目录下的所有 GeoJSON 文件名
file_names = [f for f in os.listdir(input_dir) if f.endswith('.geojson')]# 初始化ID计数器
id_counter = 0for index,file_name in enumerate(file_names):print('插入第%d条数据...' % (index+1))input_file = os.path.join(input_dir, file_name)# 读取 GeoJSON 数据并创建 GeoDataFrame 对象data = gpd.read_file(input_file)# 在DataFrame中插入一个自增的'id'列作为第一列,并累加ID计数器data.insert(0, 'id', range(1 + id_counter, len(data) + id_counter + 1))data.insert(1, 'cun_id', -1)# 提取 'coordinates' 和 'type' 信息data['type'] = data['geometry'].apply(lambda geom: geom.geom_type if geom else None)data['coordinates'] = data['geometry'].apply(extract_coordinates)# 删除原始的 'geometry' 列data = data.drop('geometry', axis=1)# 更新ID计数器id_counter += len(data)# 将所有字段中的空值设置为 nulldata = data.fillna(value='null')# 指定输出文件名(与原始文件同名,只改变后缀名)output_file = os.path.splitext(os.path.basename(input_file))[0] + '.csv'output_full_path = os.path.join(output_dir, output_file)# 导出为 CSV 文件data.to_csv(output_full_path, index=False)print("输出完成......")

第三步:.csv批量插入数据库表

# author: JMY
# 创建时间: 2024/2/23 16:35
# 多个csv文件导入数据库同一张表中import os
import glob
import pandas as pd
import mysql.connector# 建立与MySQL数据库的连接
conn = mysql.connector.connect(host='', # 主机ipuser='', # 账号password='', # 密码database='' # 数据库
)# CSV目录路径
csv_directory = 'csv文件'# 获取目录中的所有CSV文件
csv_files = glob.glob(os.path.join(csv_directory, '*.csv'))# 创建游标对象
cursor = conn.cursor()# 循环处理每个CSV文件
for index,csv_file in enumerate(csv_files):print('插入第%d条数据...'%(index+1))# 读取CSV文件data = pd.read_csv(csv_file, encoding='utf-8')  # 根据实际情况指定编码# 将除了'id'和'cun_id'外的其他字段转换为字符串类型for column in data.columns:if column not in ['id','cun_id']:data[column] = data[column].astype(str)# 构建SQL插入语句table_name = 'village_yjjbnt'  # 表名columns = ', '.join(data.columns)values = ', '.join(['%s'] * len(data.columns))insert_query = f"INSERT INTO {table_name} ({columns}) VALUES ({values})"# 批量插入数据records = data.values.tolist()cursor.executemany(insert_query, records)# 提交事务
conn.commit()# 关闭游标和连接
cursor.close()
conn.close()print("数据导入mysql成功...")

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/714040.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【王道操作系统】ch1计算机系统概述-04操作系统结构

文章目录 【王道操作系统】ch1计算机系统概述-04操作系统结构操作系统的内核操作系统的体系结构考纲新增内容(红色为全新内容,黄色为原有内容):01 分层结构02 模块化03 宏内核(大内核)和微内核04 外核 【王…

redis03 八种数据类型

思维草图 String类型 字符串类型,是redis中最简单的存储类型,可以包含任何数据,例如jpg图片或者序列化的对象等,底层都是以字节数组形式存储,最大能存储512MB的数据。 常用命令 KEY命名规范 加前缀,分…

802.11局域网的 MAC 帧

目录 802.11 局域网的 MAC 帧 802.11 数据帧的三大部分 1.关于 802.11 数据帧的地址 最常用的两种情况 2.序号控制字段、持续期字段和帧控制字段 802.11 局域网的 MAC 帧 802.11 帧共有三种类型:控制帧、数据帧和管理帧。 802.11 数据帧的三大部分 MAC 首部&…

总结springboot启动jar,指定配置文件

第一:覆盖 -- 覆盖系统中的文件中的application-dev.yml文件,两种指定方法都可以 springboot默认优先读取application.properties>application.yml>指定文件(application-dev.yml) 公共配置可以在application.yml,其他配置在applicatio…

基于 STM32U5 片内温度传感器正确测算温度

目录预览 1、引言 2、问题 3、小结 01 引言 STM32 在内部都集成了一个温度传感器,STM32U5 也不例外。这个位于晶圆上的温度传感器虽然不太适合用来测量外部环境的温度,但是用于监控晶圆上的温度还是挺好的,以防止芯片过温运行。 02 问题…

C# - 类与类之间的继承关系判断

Type.IsSubclassof(Type type) 作用:用来确定 一个类是否派生自另一个类/ValueType/Enum/委托 不能用于确定:接口是派生自另一个接口,还是类实现接口 class A{} class B : A{}A a; B b;var boo b.GetType().IsSubclassOf(typeof(A)) // t…

sqllabs第五关floor报错注入

实验环境sqllabs第五关 floor()报错注入的原因是group by在向临时表插入数据时,由于rand()多次计算导致插入临时表时主键重复,从而报错,又因为报错前concat()中的SQL语句或函数被执行,所以该语句报错且被抛出的主键是SQL语句或函…

go语言中的协程和Java中线程以及进程的区别

理解 Go 语言中的协程(Goroutine)、Java 中的线程和进程之间的区别可以从以下几个方面来看: 轻量性: Goroutine(协程): 协程是非常轻量级的执行单位,创建和销毁的成本很低。在 Go 中…

深入理解Lambda表达式:基础概念与实战演练【第114篇—python:Lambda表达式】

深入理解Lambda表达式:基础概念与实战演练 在现代编程语言中,Lambda表达式作为一种轻量级的匿名函数形式,越来越受到程序员的青睐。特别是在函数式编程兴起的今天,Lambda表达式在简化代码、提高可读性方面发挥着重要作用。本文将…

C++笔记(六)--- 静态成员变量/函数(static)

目录 C语言中静态变量 C静态成员变量 C静态成员函数 C语言中静态变量 1.函数内部用static修饰的变量,只能在此函数使用,但所修饰的变量不随函数释放而释放,下次调用时的值仍为上次结束时的值2.static修饰的全局变量只能在其定义的文件使用…

华为OD技术面试案例6-2024年

个人情况:西电本,二战某985基本寄了。知识储备方面:无任何408基础,学校开过数据结构课程60分过,python纯靠自学,无任何刷题经验,无项目经验,简历东拼西凑。 大概是12月底和OD联系&a…

数据可视化原理-腾讯-热力图

在做数据分析类的产品功能设计时,经常用到可视化方式,挖掘数据价值,表达数据的内在规律与特征展示给客户。 可是作为一个产品经理,(1)如果不能够掌握各类可视化图形的含义,就不知道哪类数据该用…

CSP-201712-2-游戏

CSP-201712-2-游戏 解题思路 初始化变量:定义整数变量n和k,分别用来存储小朋友的总数和淘汰的特定数字。然后定义了num(用来记录当前报的数)和peopleIndex(用来记录当前报数的小朋友的索引)。 初始化小朋…

MATLAB环境下基于离散小波变换的体外血管图像处理

下面简要介绍小波变换的部分应用。 信号去噪。小波去噪是根据有效信号和噪声信号在小波变换后表现出的不同特性实现的,一般可用于去除语音、图像、视频等中的噪声信号。小波去噪方法根据对小波系数的非线性处理方式分为三类,分别是小波变换模极大值去噪…

电子电器架构新趋势 —— 最佳着力点:域控制器

电子电器架构新趋势 —— 最佳着力点:域控制器 我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师(Wechat:gongkenan2013)。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师…

备战蓝桥杯---状态压缩DP基础1之棋盘问题

它只是一种手段,一种直观而高效地表示复杂状态的手段。 我们先来看一道比较基础的: 直接DFS是肯定不行,我们发现对某一行,只要它前面放的位置都一样,那么后面的结果也一样。 因此我们考虑用DP,并且只有0/…

Vue3+Element-Plus中ELMessage样式丢失处理

Vu3Element-Plus项目中,element-plus使用按需引入有时会出现样式失效和在vscode中使用会报错[找不到名称“ElMessage”。ts(2304)]错误 ELMessage弹框样式丢失处理方法 使用按需引入就不能手动再引入 import { ElMessage } from "element-plus";ElMessage.success…

蓝桥杯-单片机组基础6——定时计数器与外部中断混合使用(附小蜜蜂课程代码)

蓝桥杯单片机组备赛指南请查看这篇文章:戳此跳转蓝桥杯备赛指南文章 本文章针对蓝桥杯-单片机组比赛开发板所写,代码可直接在比赛开发板上使用。 型号:国信天长4T开发板(绿板),芯片:IAP15F2K6…

常见的浏览器跨域解决方法

1. 前端方法&#xff1a;JSONP&#xff08;仅适用于GET请求&#xff09; JSONP&#xff08;JSON with Padding&#xff09;是一种利用<script>标签的src属性不受同源策略限制的特性来实现跨域数据请求的方法。JSONP通过在前端动态创建<script>标签&#xff0c;并将…

4.1.CVAT——目标检测的标注详细步骤

文章目录 1. 进入任务1. 创建任务2. 已创建的task3. 进入标注界面 2. 选择标注类型2.1 选择标注类型2.2 进行标注2.3 遮挡 2.快捷键3.导出标注结果 1. 进入任务 登录后会看到如下图界面&#xff0c;CVAT的标注最小单位是Task&#xff0c;每个Task为一个标注任务。点击Task按钮…