spark mysql 交互_Spark - 直接操作数据源 MySQL

如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中。

读取

val mysqlDF = spark

.read

.format("jdbc")

.option("driver","com.mysql.jdbc.Driver")

.option("url","jdbc:mysql://localhost:3306/ttable")

.option("user","root")

.option("password","root")

.option("dbtable","(select * from ttt where userId >1 AND userId < 10) as log")//条件查询出想要的表

//.option("dbtable","ttable.ttt")//整张表

.option("fetchsize","100")

.option("useSSL","false")

.load()

分区读取

spark

.read

.format("jdbc")

.option("url", url)

.option("dbtable", "ttt")

.option("user", user)

.option("password", password)

.option("numPartitions", 10)

.option("partitionColumn", "userId")

.option("lowerBound", 1)

.option("upperBound", 10000)

.load()

实际会生成如下查询语句,(所有分区会一直查询,直到整张表数据查询完为止)

SELECT * FROM ttt WHERE userId >= 1 and userId < 1000

SELECT * FROM ttt WHERE userId >= 1000 and userId < 2000

SELECT * FROM ttt WHERE userId >= 2000 and userId < 3000

...

写入

mysqlDF.createTempView("log")

spark

.sql("select * from log")

.toDF()

.write

.mode(SaveMode.Overwrite)

.format("jdbc")

.option("driver","com.mysql.jdbc.Driver")

.option("url","jdbc:mysql://localhost:3306/ttable")

.option("dbtable","a")

.option("user","root")

.option("password","root")

.option("fetchsize","100")

.option("useSSL","false")

.save()

167616a0eed1

167616a0eed1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/488507.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

maven+SSM框架工程搭建

1.百度下载 maven 和 tomcat 安装 配置环境变量 2.使用最新版eclipse 集成maven maven conf文件夹下的settings.xml文件配置存放maven仓库的位置&#xff0c;D:\hongzhimei\repository 为存放路径 3.新建工程 项目原型选择webapp项目 在buildPath中选择Edit更改为工作空间默认的…

flask session_Flask干货:Flask数据交换——Session的使用

上一次我们学习了Cookie&#xff0c;知道Cookie是保存在客户端的。那么有的小伙伴就问了&#xff0c;难道只有客户端能保存&#xff1f;服务器就不可以保存吗&#xff1f;&#xff01;当然可以&#xff01;Session就是另一种记录用户状态的机制。Flask的Session是基于Cookie实现…

神经科学中的数学之美

来源&#xff1a;数学中国“不偏袒地讲&#xff0c;数学&#xff0c;不但掌握着真理&#xff0c;还是至美之物。”——罗素关于美学最新的神经学研究显示&#xff0c;视觉、听觉和道德上的美感体验都与“情绪化大脑”的同一个区域有关&#xff1a;内侧眶额叶皮层&#xff08;me…

调用相机

<input type"file" accept"image/*;capturecamera">转载于:https://www.cnblogs.com/intangible/p/6739063.html

java that关键字_Java中this关键字的几种用法

1 . 当成员变量和局部变量重名时&#xff0c;在方法中使用this时&#xff0c;表示的是该方法所在类中的成员变量。(this是当前对象自己)如&#xff1a;public class Hello {String s "Hello";public Hello(String s) {System.out.println("s " s);Syste…

手机端富文本编辑器_谷歌Pixel系列手机每月更新无痛刷机技巧

本文适合小白&#xff0c;高手可以关闭。&#xff08;以下技巧基本为Pixel3操作&#xff0c;window7平台&#xff0c;Pixel系列手机大同小异&#xff09;谷歌Pixel系列手机属于小众手机&#xff0c;当中刷机有技巧&#xff0c;本人也是小白&#xff0c;经过无数次的实践经验得出…

js中this的指向问题

JS 面试题&#xff1a; var obj { foo: function(){ console.log(this) } } var bar obj.foo obj.foo() // 打印出的 this 是 obj bar() // 打印出的 this 是 window 请解释最后两行函数的值为什么不一样。 ——- 初学者关于 this 的理解一直很模糊。今天这篇文章就要一次讲清…

什么是数据中台?全面解读数据中台

来源&#xff1a;与数据同行伴随着云计算、大数据、人工智能等IT技术迅速发展及与传统行业实现快速融合&#xff0c;一场由数字化和智能化转型带来的产业变革正在孕育。随着企业规模不断扩大、业务多元化——中台服务架构的应运而生。“中台”早期是由美军的作战体系演化而来的…

add结果 bigdecimal_java.math.BigDecimal.add(BigDecimal augend)方法

全屏java.math.BigDecimal.add(BigDecimal augend)方法java.math.BigDecimal.add(BigDecimal augend) 返回一个BigDecimal&#xff0c;其值为(this augend)&#xff0c;其标度为 max(this.scale(), augend.scale())。声明以下是java.math.BigDecimal.add()方法的声明public Bi…

近指针, 远指针和巨指针

近指针&#xff0c; 远指针和巨指针是在段寻址的16位处理器中产生的。 &#xff08;http://blog.csdn.net/zhoudengqing/article/details/41347607&#xff09;转载于:https://www.cnblogs.com/ArcherHuang/p/6767858.html

python导出oracle数据到excel_【python】 python 查询oracle数据生成excel

接上篇安装好了cx_Oracle.msi MySql.msi 下载安装 xlwt-0.7.5.tar.gz&#xff0c; 到安装目录下 命令窗口cmd下执行 python setup.py install即可 被引用的文件&#xff1a; # coding: utf-8 # xlswriter.py # http://pypi.python.org/pypi/xlwt import xlwt class XLSWriter(o…

指挥控制系统中的自然智能和人工智能

来源&#xff1a;人机与认知实验室【编者按&#xff1a;为什么美军的“深绿系统”不好用&#xff1f;并常常被指挥员所诟病。但这是指控系统智能化的关键之所在&#xff01;你也许会简单地说&#xff1a;“是人、机、环境系统失调造成的”&#xff0c;若进一步问“那是怎样失调…

execel公式 java工具_PAP-快速开发框架:JAVA 计算器 自定义公式 解决EXCEL计算公式问题...

JAVA 自定义公式计算器&#xff0c; 形如EXCEL中含有大量的计算公式-财务函数&#xff1a; PMT FV NPER PV DB DDB 这些&#xff1a;可以通过编码方式&#xff0c;解决在JAVA中进行数据计算&#xff0c; 同时可以自定义扩展自己想要的数据函数。执行语句: PMT(0.00515,360,-77…

Sublime Text 3 搭建 React.js 开发环境

Sublime有很强的自定义功能&#xff0c;插件库很庞大&#xff0c;针对新语言插件更新很快&#xff0c;配合使用可以快速搭建适配语言的开发环境。 1. babel-sublime 支持ES6&#xff0c; React.js, jsx代码高亮&#xff0c;对 JavaScript, jQuery 也有很好的扩展。关于 babel 的…

python中对象的方法_在Python中表示一个对象的方法

在 Python 中一切都是对象。如果要在 Python 中表示一个对象&#xff0c;除了定义 class 外还有哪些方式呢&#xff1f;我们今天就来盘点一下。 0x00 dict 字典或映射存储 KV 键值对&#xff0c;它对查找、插入和删除操作都有比较高效率。用一个 dict 对象可以非常容易的表示一…

AI造假 vs AI打假 终结“猫鼠游戏”不能只靠技术

来源&#xff1a;和讯网人脸识别作为生物识别中的重要手段&#xff0c;成为了近年身份识别中最热门的领域。但与人脸识别技术共同发展的&#xff0c;还有借助机器学习系统、图像视频和音频内容&#xff0c;更改人脸、物体或环境呈现方式的深度伪造技术。随着这一技术的日趋成熟…

单例设计模式之安全的懒汉式

package 单例模式; /*** 单例设计模式之安全的懒汉式*/ class Single{private static Single single null;//私有构造方法private Single() {}//对外提供公有的获取内部创建的Single对象public static Single getInstance(){if(singlenull){synchronized(Single.class){if(sing…

navicat导入excel_傻瓜式教学【数据库管理工具Navicat】

想玩数据怎么能连sql都不会&#xff0c;想写sql怎么能不会用最简单的NavicatNavicat的安装看这里手把手教你安装Navicat——靠谱的Navicat安装教程​www.jianshu.com猴子&#xff1a;客户端navicat安装教程​zhuanlan.zhihu.com装好了Navicat&#xff0c;首先将csv格式的excel文…

你好AI丨重读图灵经典之作,九条反驳意见引人深思

来源&#xff1a; AI科技评论编译 | 丛末、蒋宝尚当一台计算机能够骗过人类&#xff0c;让他们相信它就是一个人的时候&#xff0c;就能够被称作智能。编者按&#xff1a;对于艾伦图灵&#xff0c;相信大家都并不陌生&#xff0c;作为人工智能鼻祖&#xff0c;图灵的诸多观点即…

java 比较源文件_Beyond Compare比较Java源代码文件的操作方法

今天小编就带大家来共同学习BeyondCompare如何比较Java源代码文件希呢?望可以帮助到有需要的小伙伴哦&#xff0c;下面就是详细完整的操作步骤。打开BeyondCompare&#xff0c;在主页面左侧目录下选择文本比较会话&#xff0c;打开会话操作界面。分别单击比较会话界面“打开文…