presto联合查询mysql和ES_presto-mysql/elasticsearch6.0.0安装部署测试,异种数据源关联查询入门实践...

本文简单记录一次实践使用过程,涉及presto-mysql,presto-elasticsearch,文中参数未做注释,请参考官方文档,希望能帮到大家

1 下载安装 presto-0.228

<1>下载

服务端

客户端

相关jar

<2>安装:

1> 解压

tar -zxvf presto-server-0.228.tar.gz

2>创建配置目录 etc  etc/catalog

cd presto-server-0.228/

mk dir etc

mkdir etc

mkdir data

cd etc

mkdir catalog

3>创建config.properties 集群配置

在新建的etc目录下

vim config.properties

coordinator=true

node-scheduler.include-coordinator=true

http-server.http.port=9080

query.max-memory=8GB

query.max-memory-per-node=1GB

query.max-total-memory-per-node=2GB

discovery-server.enabled=true

discovery.uri=http://xinyi:9080

4>创建jvm.config 运行环境配置

在新建的etc目录下

vim jvm.config

-server

-Xmx16G

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+UseGCOverheadLimit

-XX:+ExplicitGCInvokesConcurrent

-XX:+HeapDumpOnOutOfMemoryError

-XX:+ExitOnOutOfMemoryError

5>创建log.properties 日志配置

在新建的etc目录下

vim log.properties

com.facebook.presto=INFO

6>创建node.properties ,节点配置

在新建的etc目录下

vim log.properties

node.environment=production

node.id=ffffffff-ffff-ffff-ffff-fffffffffff1

node.data-dir=/opt/presto-server-0.228/data

7>启动

cd /安装目录/bin

./launcher start 后台启动

./launcher stop停止

./launcher run 前台启动,输出日志

./launcher restart 重启

8>/安装目录/var/log以下位置找到日志文件

launcher.log

server.log

http-request.log

<3> 安装客户端

重命名presto-cli-0.228-executable.jar位presto

mv presto-cli-0.228-executable.jar presto

使用命令:

./presto --server locahost:9080 --catalog mysql--schema test

2 presto-mysql

<1>在 /etc/catalog/目录下创建mysql.properties

connector.name=mysql

connection-url=jdbc:mysql://localhost:3306

connection-user=root

connection-password=root

<2>重启presto-server

/launcher restart

<3>测试

在客户端安装目录执行

./presto --server locahost:9080 --catalog mysql--schema test

presto:es> select * from mysql.test.test;

3 presto-elasticsearch

elasticsearch版本最好与plugin目录下elasticsearch版本一致

<1>在 /安装目录/etc/catalog/目录下创建elasticsearch.properties

connector.name=elasticsearch

#elasticsearch.default-schema=default

elasticsearch.table-description-directory=etc/elasticsearch/

elasticsearch.scroll-size=1000

elasticsearch.scroll-timeout=2s

elasticsearch.request-timeout=2s

elasticsearch.max-request-retries=5

elasticsearch.max-request-retry-time=10s

<2>创建elasticsearch目录

cd /安装目录/etc/

mkdir elasticsearch

cd elasticsearch

<3>定义表的描述文件(自定义表名.json)

cd elasticsearch

vim test.json

{"tableName": "es_test",

"schemaName": "es",

"host": "es-ip地址",

"port": 9300,

"clusterName": "my-application",

"index": "test",

"indexExactMatch": false,

"type": "test",

"columns": [

{

"name": "name",

"type": "varchar",

"jsonPath":"name",

"jsonType":"varchar"

},

{

"name": "age",

"type": "integer",

"jsonPath":"age",

"jsonType":"integer"

}

]

}

<4>重启presto-server

/launcher restart

<5>测试

./presto --server locahost:9080 --catalog elasticsearch --schema es

presto:es> select * from elasticsearch.es.es_test;

name | age

------+-----

HL   |  12

HLl  |  18

(2 rows)

4 多数据源查询

./presto --server locahost:9080 --catalog elasticsearch --schema es

presto:es> select * from mysql.test.user t left join elasticsearch.es.es_test t1 on t.age=t1.age;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/505818.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

xss过滤器无法处理ajax请求_thunkPHP 预防XSS攻击

比如在有人恶意在你的输入框中或文本域中输入<script>标签&#xff0c;如果不做处理的话&#xff0c;输入框中的<script>会保存到我们数据库中&#xff0c;等到将这个数据拿出来展示的时候&#xff0c;就等于将这个内容放入到了html代码中&#xff0c;那么这个<…

mysql bcmod_nextcloud网盘搭建:Ubuntu18.04+Nginx+Mysql

背景前几天在windows系统上搭建了一个seafile网盘服务器&#xff0c;在试用时对它的功能还是比较满意的&#xff0c;有保存文件&#xff0c;共享文件&#xff0c;小组讨论和小组文件共享等功能&#xff0c;基本上可以满足项目式学习的需求。不过在第一节课上课试用时(一个班大概…

mysql mode_MYSQL中的sql_mode模式

mysql数据库的中有一个环境变量sql_mode,定义了mysql应该支持的sql语法&#xff0c;数据校验等&#xff01;我们可以通过以下方式查看当前数据库使用的sql_mode&#xff1a;mysql>select sql_mode一&#xff0c;sql_mode值的含义ONLY_FULL_GROUP_BY对于GROUP BY聚合操作&…

汇编为什么分段执行总是执行不了_为什么我的计划总是执行不了?这里有你要的答案...

公众号配文&#xff1a;有些计划如泰山一样纹丝不动。说它难吧&#xff0c;又不是很难&#xff0c;奈何动不起来&#xff1f;——————————说起每日计划&#xff0c;很多人觉得&#xff0c;不就是写写行动清单&#xff0c;然后赶紧去做呗。不过&#xff0c;是不是有些计…

mysql unhex乱码_理解和解决MySQL乱码问题

本文将详细介绍MySQL乱码的成因和具体的解决方案在阅读本文之前&#xff0c;强烈建议对字符集编码概念还比较模糊的同学 阅读下博主之前对相关概念的一篇科普&#xff1a;十分钟搞清字符集和字符编码MySQL出现乱码的原因要了解为什么会出现乱码&#xff0c;我们就先要理解&…

单目相机 svd 从图像恢复3维位置_论文学习——VINSMono:一种鲁棒且通用的单目视觉惯性系统...

点击上方“视觉部落”&#xff0c;选择“星标”公众号精选作品&#xff0c;第一时间送达文章同步首发于知乎用户yikang专栏Part 1. 基本信息本文提出了一种基于紧耦合滑动窗口非线性优化方法的单目视觉-惯性系统&#xff0c;来自港科大沈老师实验室。这篇论文的亮点包括提出了效…

识别波峰波谷算法_马丁普林格:波峰-波谷演进法

我们有很多方法来识别趋势&#xff0c;计算机可以轻易地帮助我们实现各种复杂的想法。而在技术允许的条件下&#xff0c;我们还总是有把事物复杂化的倾向。事实也的确如此&#xff0c;目前市面上有无数复杂的方法、指标和程式化黑箱。但很显然&#xff0c;这些复杂的东西除了把…

cru使用教程_显示器刷新率超频教程

嫌显示器刷新率不够高&#xff0c;屏幕有拖影&#xff1f;打FPS游戏总是慢人一步&#xff1f;如果你正在使用的显示器面板素质不错的话&#xff0c;说不定可以将出厂标称的刷新率通过软件得到小幅度提升。此方法对于笔记本显示器有可能无效。本文仅展示在Windows 10操作系统下的…

python的内存回收机制_关于python的变量使用回收机制

a3print type(a) #a为整型a3Lprint type(a) #a为长整型a2.3print type(a) #floata2.3e10print type(a) #floata"2.3e10"print type(a) #stringa"3.12e-1"print a,type(a) # "3.12e-1 afloat(a)print a,type(a) #0.312 a3.12e10print type(a) #a43jpri…

mysql如何定位耗时较长的sql_Mysql实例mysql优化之定位效率较低的SQL

《Mysql实例mysql优化之定位效率较低的SQL》要点&#xff1a;本文介绍了Mysql实例mysql优化之定位效率较低的SQL&#xff0c;希望对您有用。如果有疑问&#xff0c;可以联系我们。导读&#xff1a;一般通过以下两种方式定位执行效率较低的 SQL 语句.通过慢查询日志定位那些执行…

python创建虚拟环境时出现拒绝访问_无法创建虚拟环境

我无法同时使用Python 2.x或Python 3.x创建虚拟环境。当我尝试创建虚拟环境时&#xff0c;出现错误&#xff1a;$ virtualenv my_env2 [0:05:17] ⚡[..........]Running virtualenv with interpreter /usr/bin/python2New python executable in /home/user/my_env2/bin/python2…

python三方库打包项目中_将Python库打包到项目中

如果你有一个Python项目需要分发出去&#xff0c;但这个项目用了一些第三方库&#xff0c;而你又不想使用你这个项目的用户自行去安装这些库&#xff0c;这时候就很有必要将这些Python库打包到你的项目中了。下面以Faker这个库举例。1. 下载库源码: https://pypi.python.org/py…

python工资条教程_批量发工资怎么操作_利用python轻松解决用邮箱批量发工资条...

每次要发工资条公司负现工资条的同事都很烦恼,二百多号人,只能一个个人去发.于是她问我有什么办法可以批量发工资条的,我说你要收集员工的邮箱地址.然后我花半天写一个工具给你,她说早知道之前就找你啦.下面费话不多说,直接上代码.以下需要安装pandas库以及依赖库.如有不懂配置…

python数据挖掘电影评分分析_[Python数据挖掘]爬行豆瓣影评数据,python,爬取

# 1、导入需要的库import urllib.requestfrom bs4 import BeautifulSoup# 随机数的库import random# 时间库import time# 表格库import csv# 2、分多个浏览器访问豆瓣网&#xff0c;防止访问多页时被拒绝# 每个浏览器在请求数据的时候&#xff0c;请求头是不一样# 计算机命名规…

网站本地调试工具_一款Web调试代理工具:Fiddler

前言在移动软件开发工作中&#xff0c;我们经常需要对APP软件进行调试及问题定位。在我们检查定位问题的时候&#xff0c;很多情况下需要查看接口的请求情况&#xff0c;当我们没有在调试模式的情况下&#xff0c;如何才能有效快捷的得到各个接口的请求情况呢&#xff1f;这个时…

python语法知识_Python 语法小知识

对象通过引用传递的 不支持自增 自减之类的 i i 多元赋值 右边是元组 &#xff0c;多元赋值可以实现不需要中间变量 交换两个变量的值 _xxx_ 系统定义的名字 _xxx 私有变量 python对象的类型和内存都是在运行时才确定的 当对象被创建时&#xff0c;就创建了一个引用计数 …

plsql无监听程序_详细!看看顶级互联网公司都在研究的无服务器架构!

无服务器计算(Severless computing&#xff0c;简称 Serverless)现在是软件架构圈中的热门话题&#xff0c;国外三大云计算供应商(Amazon、Google 和 Microsoft)都在大力投入这个领域&#xff0c;涌现了不计其数的相关书籍、开源框架、商业产品、技术大会。到底什么是 Serverle…

ef.extensions mysql_EFcore 使用 EFCore.BulkExtensions(不支持mysql)或 EntityFramework-Plus 批量增加、删除、修改...

EFCore.BulkExtensions&#xff0c;EntityFramework-Plus 都是Microsoft推荐的EFcore扩展 。可以通过nuget安装一、EFCore.BulkExtensions使用方法如下&#xff1a;实体批量操作&#xff1a;context.BulkInsert(entitiesList); context.BulkInsertAsync(entitiesList);context…

sqlyog怎么连接mysql错误2003_网站突然连不上,MySQL连接错误经常内存不够宕机

阿里云服务器 MySQL 经常自动停止、挂掉、重启。打开 MySQL 的 error.log 错误信息&#xff0c;在阿里云 CentOS 的路径为 /alidata/log/mysql/error.log,如下&#xff1a;2016-03-13 00:16:37 0[Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use--e…

华为抓截屏_原来这才是华为截屏的正确姿势,今天才知道,千万别不当回事

原标题&#xff1a;原来这才是华为截屏的正确姿势&#xff0c;今天才知道&#xff0c;千万别不当回事大家都知道我们的华为手机有很多好用的功能&#xff0c;截屏就是其中一个&#xff0c;那么你知道华为手机截屏的正确姿势吗&#xff1f;今天小编就带大家一起看看吧&#xff0…