postgresql 远程用户_构建Python pandas基于SSH远程MySQL和PostgreSQL的数据分析

背景知识视频教程

Python中使用Pandas教程 - 国外课栈​viadean.com
v2-5466796be9e951c1d2c40c6bf955030a_180x120.jpg
Pandas数据分析与探索 - 国外课栈​viadean.com
v2-4055ad60fe28ff5ac7dcd0eb122b51fc_ipico.jpg

如果您无法从外部环境直接访问数据库,则可能需要SSH隧道来查询它。 在这篇文章中,我将向您展示如何通过SSH连接并查询MySQL数据库到Pandas数据框。 可以将相同的代码应用于连接到其他数据库,例如PostgreSQL。

假设您的数据库托管在52.xx.xx.xx上,并且您具有以下用户和私钥:

# ssh variables
host = '52.xx.xx.xx'
localhost = '127.0.0.1'
ssh_username = 'ubuntu'
ssh_private_key = '/path/to/key.pem'

SSH进入环境后,我们需要一个用户名和密码来连接到名为“数据库”的数据库:

# database variables
user='user'
password='verysecurepassword'
database='database'

要将所有这些转换为可以从Python代码调用的一个函数,我们可以使用sshtunnel软件包,您可以使用pip获得该软件包:

pip install sshtunnel

然后导入SSHTunnelForwarder,MySQLdb和pandas:

from sshtunnel import SSHTunnelForwarder
import MySQLdb as db
import pandas as pd

要导入MySQLdb,您需要先安装MySQL-python。您可以用Psycopg代替MySQLdb对PostgreSQL做同样的事情。

备注:目前不推荐使用MySQLdb和Psycopg,出于介绍目的。推荐使用MySQL connector/Python和Psycopg2。

现在,我们将使用SSHTunnelForwarder创建一个隧道,连接到数据库,进行查询并以Pandas数据帧的形式返回结果。查询后关闭连接和SSH隧道。

read_sql_query方便地将您的SQL查询作为字符串以及刚刚建立的与数据库的连接,并从表格数据中创建数据框。

现在,您可以简单地查询数据库:

输出:

MySQL connector/Python访问MySQL

Python使用Psycopg2访问PostgreSQL

构建Python pandas基于SSH远程MySQL和PostgreSQL的数据分析​viadean.com
v2-03592f3e9d370b213822f8493911a26e_180x120.jpg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/486535.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

达尔文之过:人类真的和其他生物平等吗?

1859年发表的《物种起源》 图片来源:Wikimedia Commons来源:环球科学人类在自然界中的地位,真的如达尔文与赫胥黎认为的那样,“与其他生物平等”吗?这种贬抑人类地位的理想化理念,或许推进了人类对大自然肆…

c++矩阵连乘的动态规划算法并输出_算法面试必修课,动态规划基础题型归纳(三)

动态规划(Dynamic Programming,简称DP),是大家都觉得比较难以掌握的算法。为了应付面试,我们经常会背诵一下DP问题的源码,其实,只要理解了思想,掌握基本的模型,然后再来点…

css 学习记录

如何引入css 内联样式 在标签内 添加style style标签 外联式写法 新建CSS文件 通过用link标签引入css样式文件 import url(../);、 css语法 选择器 {属性:值;} CSS属性 float的属性可以使元素左右浮动 设置字体的样式 color属性 用于 设置字体颜色 …

网站服务器睡眠后还能访问吗,远程服务器可以睡眠吗

远程服务器可以睡眠吗 内容精选换一换已成功添加Guardian。如果Guardian处于在线状态,只允许修改Guardian名称。如果Guardian处于连接超时状态,可以输入登录远程服务器的用户名和密码重新部署Guardian。如果Guardian处于在线状态,只允许修改G…

sql server如何输出排序序号_Group by中子查询order by排序失效问题分析

通过sql分组查询数据时,一般通过group by来完成,group by默认取相同的分组列(一列或者多列)中第一个数据。如果想获取sql分组中id最大的记录,我们可能想到的sql如下(name列作为分组):select id,name from (…

深入学习Redis(1):Redis内存模型

前言 Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说Redis是实现网站高并发不可或缺的一部分。 我们使用Redis时,会接触Redis的5种对象类型(字符串、哈希、列表、集合、有序集合&…

对话“互联网先驱”:星际互联网究竟可不可行?

Vinton Cerf曾在四十年前协助创造了互联网,如今他仍在努力帮助世界各地的人们建立联系。来源丨Quantamagazine作者丨Susan DAgostino编译丨科技行者Vinton Cerf,互联网之父之一,正在建立行星际互联网方面发挥着关键作用。太空探索困难重重&am…

烽火服务器怎么进入bios系统,装机高手告诉你如何进入bios

如何进入bios是很多装机技术人员才会研讨的问题,可是我们生活中依然有时分需求用到bios设置,这时分我们应该如何进入bios呢?说实话不同的电脑、型号都有不同的进入bios方法,但是关于主流的系统品牌来说,如何进入bios的方法大多都…

折弯弹性计算公式_冲压模具:影响回弹因素、回弹计算公式计算,值得收藏

回弹,设计师都会遇到,而且无法避免,只能想办法补偿或者降低影响。那什么是回弹呢?金属材料在塑性弯曲时总是伴随著弹性变形,因此当弯矩去掉之后,弯曲件的弯曲半径变得与模具尺寸不一致,这种现象…

image是否有disabled属性_Vue学习笔记 模板语法、计算属性

点击上方“蓝字”关注我们吧&#xff01;vue学习笔记官网&#xff1a;https://cn.vuejs.org/v2/guide/1、vue体验demo示例&#xff1a;image.png示例代码&#xff1a;<html lang"en"> <head> <meta charset"UTF-8" /> <meta n…

分析 | MEMS传感器市场报告

来源&#xff1a;核芯产业观察1、MEMS 发展迅速&#xff0c;Yole Development 预计 2023 年市场规模超 300 亿美元MEMS 全称为 Micro-Electro Mechanical System&#xff0c;即微机电系统&#xff0c;是集微型传感器、执行器、机械结构、电源能源、信号处理、控制电路、高性能电…

各大媒体优劣对比_信息流投放广告丨各大平台的信息流都有什么特点与弊端

相信很多企业都做过信息流的广告推广&#xff0c;那么各位广告主都做过哪些平台的信息流呢&#xff1f;今天我们来看一看各大平台的信息流都有什么特点与弊端吧&#xff01;1、社交类代表&#xff1a;微博粉丝通、广点通&#xff08;16年更名腾讯社交广告&#xff09;、陌陌、贴…

我们生活在一个虚拟世界的概率有多大?

© Thomas Leuthard - Flickr来源&#xff1a;人工智能AI技术利维坦按&#xff1a;我们在以前的文章中介绍过约翰惠勒提出的延迟实验&#xff1a;第一步&#xff1a;我们拿一块经过半镀银处理的反射镜BS1来代替双缝实验中的挡板。根据量子的分布随机性&#xff0c;从图示左…

mysql between and的用法的意思_从入门到入土:MySQL完整学习指南,包教包会!

一SQL 介绍SQL&#xff08;Structured Query Language&#xff09;,语义是结构化语言&#xff0c; 是一门 ANSI 的标准计算机语言&#xff0c;用来访问和操作数据库系统&#xff1b;二 数据库介绍2.1 数据库我们已经知道了SQL是操作数据库的语言&#xff0c;那么数据库是什么&a…

db2增加decimal类型字段小数位_05725.16.1Hive中decimal类型字段.0结尾数据显示异常问题处理...

作者&#xff1a;辉少1问题描述Fayson今天在Hive中插入字段类型为decimal的数据时发现&#xff0c;插入数据为1.0, 1.000等以 .0结尾的数据在hive中显示为1&#xff0c;即不显示末尾的.0 &#xff0c;如下&#xff1a;CREATE TABLE decimaltest (d decimal(18,7));INSERT INTO …

Nature:实验室培育的大脑可以拥有意识吗?

大数据文摘出品来源&#xff1a;nature编译&#xff1a;朱科锦、lin一直以来&#xff0c;对于科学家来说&#xff0c;人脑都是一个神奇的存在&#xff0c;关于人脑的研究也层出不穷。近几年&#xff0c;随着人工智能的发展&#xff0c;很多科学家都在努力探索&#xff0c;未来机…

c语言float转换为int_C语言的隐式类型转换和显示类型转换

C语言是一种强类型语言&#xff0c;当使用一种类型的对象代替另外一种类型的对象进行操作时&#xff0c;必须首先进行类型转换。类型转换的方式&#xff0c;一般可分为隐式类型转换和显示类型转换(也称为强制类型转换)。1、隐式类型转换隐式类型转换由编译器自动进行&#xff0…

asp 开发app_ASP.NET Core应用的错误处理[1]:三种呈现错误页面的方式

由于ASP.NET Core应用是一个同时处理多个请求的服务器应用&#xff0c;所以在处理某个请求过程中抛出的异常并不会导致整个应用的终止。出于安全方面的考量&#xff0c;为了避免敏感信息的外泄&#xff0c;客户端在默认的情况下并不会得到详细的出错信息&#xff0c;这无疑会在…

美国半导体十年计划中的NO.1,模拟硬件究竟有什么价值?

来源&#xff1a; 脑极体中国半导体行业在集体过冬&#xff0c;美国也未必没有紧迫感。前不久&#xff0c;美国半导体行业协会&#xff08;SIA&#xff09;和半导体研究公司&#xff08;SRC&#xff09;就联合发布了一份题为“半导体十年计划”的报告&#xff0c;希望美国政府能…

【编程开发】Python---列表

ERROR&#xff1a;错误 waring&#xff1a;警告&#xff0c;还没到犯错的地步 print(r\n) r"字符串"&#xff0c;字符串里的所有字符都不转义 str "abcdef" 如果想隔一个取出来&#xff0c;str[0::2] 深浅拷贝 列表的内存存放 Python修改的变量只是修改了…