【部署】Deploying Trino on linux

文章目录

  • 一. Requirements
    • 1. Linux operating system
    • 2. Java 环境
    • 3. Python
  • 二. Installing Trino
  • 三. Configuring Trino
    • 1. 节点配置
    • 2. JVM 配置
    • 3. Config properties
    • 4. Log levels
    • 5. Catalog properties
  • 四. Running Trino

一. Requirements

1. Linux operating system

  • 64位

  • 资源限制配置：/etc/security/limits.conf

trino soft nofile 131072
trino hard nofile 131072
trino soft nproc 128000
trino hard nproc 128000

 

2. Java 环境

最新的Trino版本需要Java的长期支持版本Java 17，特别是17.0.3或更新版本。Trino不支持更旧版本的Java，而在新版本的Java（Java 18 或 19）环境下它也许可以正常工作，但并未仔细测试。

下载安装JDK17：Linux系统下JDK17安装+环境配置

 
如果使用java17或者java18，需要配置charset为UTF-8，在etc/jvm.config

-Dfile.encoding=UTF-8

java19不要配置

 

3. Python

version 2.6.x, 2.7.x, or 3.x
required by the bin/launcher script only

 
 

二. Installing Trino

下载地址：trino-server-434.tar.gz,

解压：tar -zxvf trino-server-434.tar.gz

trino需要数据目录来存储日志等。推荐将数据目录放在安装目录之外，便于Trino的更新。

 

三. Configuring Trino

在安装目录创建一个etc目录，此目录下有如下配置：

  • 节点配置：每个节点的环境配置。
  • JVM配置
  • Trino server配置
  • catalog配置：配置数据源

1. 节点配置

创建etc/node.properties文件，这里配置每个节点。一个节点代表一个trion的安装实例。当trino第一次安装时，有如下最小化配置：

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/trino/data
  • node.environment：环境名字。所有的Trino节点都必须有同样的环境名字。名字开头必须小写，且只包含小写字母或_字符。
  • node.id ：trion唯一标识，每个节点都不同。此标识在更新或者重启Trion时要保持不动。如果多个trino实例跑在同一个节点，每个安装实例必须有唯一标识。标识从一个字母开始，标识中只包含字母、- 或 _字符。
  • node.data-dir：数据目录位置，trion存储日志和其他数据在此目录。

 

2. JVM 配置

创建etc/jvm.config文件，这里包含一些启动java虚拟机的一些命令。文件格式是每行一个option组成的列表。

这些配置不由shell执行，所以文件中的空格或其他特殊字符不能用引号括起。如下参考：

-server
-Xmx10G
-XX:InitialRAMPercentage=80
-XX:MaxRAMPercentage=80
-XX:G1HeapRegionSize=32M
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-XX:ReservedCodeCacheSize=512M
-XX:PerMethodRecompilationCutoff=10000
-XX:PerBytecodeRecompilationCutoff=10000
-Djdk.attach.allowAttachSelf=true
-Djdk.nio.maxCachedBufferSize=2000000
-Dfile.encoding=UTF-8
# Reduce starvation of threads by GClocker, recommend to set about the number of cpu cores (JDK-8192647)
-XX:+UnlockDiagnosticVMOptions
-XX:GCLockerRetryAllocationCount=32

根据节点情况调整-Xmx配置，一般推荐设为节点总内存的70%-85%。比如所有的workers和coordinator使用64G的RAM，则你可以设置-Xmx54G。

  • 分配的内存中大部分用于处理，小部分用于比如JVM的内部操作，比如垃圾回收。
  • 其他可用节点的内存必须足够用于系统操作、其他正在运行的服务，以及native code对堆外内存的使用。
  • 在较大节点上，内存比可以更小，不支持分配所有内存给JVM或者使用交换内存，不使用交换内存是比较推荐的。
  • 对于生产场景下，大于32GB的内存是比较推荐的。
  • 因为OutOfMemoryError通常会使JVM处于不一致的状态，所以我们写一个heap dump，用于调试，并在发生这种情况时强制终止进程。
  • JVM必须能够在临时目录下执行，在某些安装中，默认的/tmp目录被用作挂载标志，而这导致Trino启动不了。当然可以设置：-Djava.io.tmpdir=/path/to/other/tmpdir 来覆盖默认值。
  • 这里设置GCLocker retry allocation count （-XX:GCLockerRetryAllocationCount=32）来避免太早的OOM（JDK-8192647）

 

3. Config properties

创建etc/config.properties，用于配置Trino Server。每一个Trino server都可以有coordinator和worker两种身份。一个集群需要一个coordinator，将一台机器专门用于执行协调工作可以给大型集群提供最佳性能，对于集群拓展和MPP并行处理则由worker实现。

coordinator的最小化配置：

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
discovery.uri=http://example.net:8080

workers的最小化配置：

coordinator=false
http-server.http.port=8080
discovery.uri=http://example.net:8080

如果部署一个测试集群，coordinator 和 worker部署到一起，则可以配置：

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
discovery.uri=http://example.net:8080

配置说明：

  • coordinator：配置为true则设置此trino实例作为coordinator，用来接收客户端的查询请求，以及管理查询。
  • node-scheduler.include-coordinator：允许coordinator工作调度。对于更大的集群，coordinator的工作处理影响查询性能，因为机器的资源不能用于重要任务的调度，管理以及监控查询的执行。
  • http-server.http.port：http server端口，Trino使用http协议进行所有内外部的通讯。（没有RPC端口？）
  • discovery.uri：coordinator具备服务发现的能力。每个trino实例在启动时都会向发现服务注册自己，并持续的汇报心跳。发现服务分享http服务，所以使用同样的端口。如果coordinator上禁用了http，那么需要使用HTTPS。

以上是最小化配置说明。其他配置见：

All additional configuration is optional and varies widely based on the specific cluster and supported use cases. The Administration and Security sections contain documentation for many aspects, including Resource groups for configuring queuing policies and Fault-tolerant execution.

 

4. Log levels

创建etc/log.properties，来设置最小日志级别。每一个logger通过类的全限定名声明。如下设置日志级别：

io.trino=INFO

这会给io.trino.server 和 io.trino.plugin.hive 设置INFO的日志级别。不过默认的日志级别就是INFO，这里有四种日志级别：DEBUG, INFO, WARN and ERROR。

 

5. Catalog properties

Trino通过连接器访问数据，而连接器挂载到Catalog中。连接器向Catalog提供所有的schemas和表。例如：hive连接器映射每一个hive数据库为一个schema。如果hive连接器挂载为hive catalog，在hive.web.clicks页面上就可以访问hive表。

通过在etc/catalog目录下创建一个catalog配置文件来注册Catalogs。如果创建etc/catalog/jmx.properties，就会将jmx挂载到catalog中

connector.name=jmx

其他连接器配置见：Connectors

 

四. Running Trino

在bin/launcher中提供了启动脚本，脚本可以被手动操作，或作为一个daemon执行。有如下命令：

命令说明
run前台启动，使用Ctrl+C关闭，或者在其他终端执行stop
start启动作为一个daemon，并返回PID
stop关闭服务
restart重启或启动一个服务，绑定一个新的PID
kill关闭可能挂起的服务
status打印状态，Stopped pid or Running as pid.
bin/launcher start

或者，它可以在前台运行，将日志和其他输出写入stdout/stderr。如果使用像daemontools这样的监控系统，两个流都应该被捕获:

bin/launcher run

launcher为etc目录、配置文件、数据目录var和数据目录中的日志文件配置默认值。
可以按需修改，例如使用安装目录之外的目录、特定的挂载点或位置，甚至使用其他文件名。例如，Trino RPM调整使用的目录以更好地遵循Linux文件系统层次标准(FHS)。

当trino启动后，可以在数据目录查看如下日志：

  • launcher.log：由launcher创建，包含stdout and stderr streams。server logging的初始化、JVM的错误以及分析会写到launcher.log中。
  • server.log：Trino主要日志，当sever初始化失败时会包含一些相关信息。日志会自动轮转和压缩。
  • http-request.log：记录所有http请求。日志同样会自动轮转和压缩。

 

参考：
官网：Trino Deploying

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/195338.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SpringBoot错误处理机制解析

SpringBoot错误处理机制解析

SpringBoot错误处理----源码解析 文章目录 1、默认机制2、使用ExceptionHandler标识一个方法，处理用Controller标注的该类发生的指定错误1）.局部错误处理部分源码2）.测试 3、 创建一个全局错误处理类集中处理错误，使用Controller…
阅读更多...
基于java技术的电子商务支撑平台

基于java技术的电子商务支撑平台

摘 要 随着网络技术的发展，Internet变成了一种处理日常事务的交互式的环境。互联网上开展各种服务已经成为许多企业和部门的急切需求。Web的普遍使用从根本上改变了人们的生活方式、工作方式，也改变了企业的经营方式和服务方式。人们可以足不出户办理各…
阅读更多...
财务管理在IT服务管理中的重要作用

财务管理在IT服务管理中的重要作用

官方网站 www.itilzj.com 文档资料: wenku.itilzj.com 财务管理作为一种管理组织财务资源的方法，在IT服务领域扮演着关键的角色。其涵盖的范围涉及预算编制、成本控制、投资决策、财务报告和绩效评估等多个方面，直接关系到IT服务的财务健康和整体运作。…
阅读更多...
WT588F02A-16S录放音语音芯片为何需要配备自动增益控制麦克风？

WT588F02A-16S录放音语音芯片为何需要配备自动增益控制麦克风？

在语音录放领域，一款优秀的语音芯片如WT588F02A-16S不仅需要具备高品质的录音和播放功能，还需要与合适的麦克风配合，以确保音频输入的最佳效果。而其中，自动增益控制（AGC）麦克风在这一过程中发挥着重要作用…
阅读更多...
Csharp（C#）无标题栏窗体拖动代码

Csharp（C#）无标题栏窗体拖动代码

C#（C Sharp）是一种现代、通用的编程语言，由微软公司在2000年推出。C#是一种对象导向的编程语言，它兼具C语言的高效性和Visual Basic语言的易学性。C#主要应用于Windows桌面应用程序、Windows服务、Web应用程序、游戏开发等领域。C…
阅读更多...
使用Redis构建简易社交网站(3)-状态与信息流

使用Redis构建简易社交网站(3)-状态与信息流

目的 本文目的：实现获取主页时间线和状态推送功能。（完整代码附在文章末尾） 相关知识 在我上一篇文章 《使用Redis构建简易社交网站(2)-处理用户关系》中提到了实现用户关注和取消关注功能。 那这篇文章将教会你掌握：1&#x…
阅读更多...
蓝桥杯每日一题2023.12.3

蓝桥杯每日一题2023.12.3

题目描述 1.移动距离 - 蓝桥云课 (lanqiao.cn) 题目分析 对于此题需要对行列的关系进行一定的探究，所求实际上为曼哈顿距离，只需要两个行列的绝对值想加即可，预处理使下标从0开始可以更加明确之间的关系，奇数行时这一行的数字需…
阅读更多...
做外贸如何写开发信？外贸邮件营销怎么写？

做外贸如何写开发信？外贸邮件营销怎么写？

外贸业务员写开发信的技巧？撰写客户开发信模板详解！ 外贸经营是一项竞争激烈的行业，写好开发信是吸引客户、建立合作关系的重要一环。蜂邮EDM将为您详细介绍如何撰写出色的开发信，以吸引客户的眼球，引领他们与您建立联…
阅读更多...
Linux服务器初次使用需要的环境配置

Linux服务器初次使用需要的环境配置

一、划分磁盘 1.查看磁盘 sudo fdisk -l Disk /dev/sda: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors //新增的硬盘 Units: sectors of 1 * 512 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096…
阅读更多...
【数电笔记】17-具体函数的卡诺图填入

【数电笔记】17-具体函数的卡诺图填入

目录 说明： 用卡诺图表示逻辑函数 1. 基本步骤 2. 例题 2.1 例1-真值表转换卡诺图 2.2 例2-标准与或式画卡诺图 2.3 例3-非标准与或式画卡诺图（常见,重点掌握） 说明： 笔记配套视频来源：B站；本系列笔…
阅读更多...
el-pagination 纯前端分页

el-pagination 纯前端分页

需求&#xff1a;后端把所有数据都返给前端&#xff0c;前端进行分页渲染。 实现思路&#xff1a;先把数据存储到一个大数组中&#xff0c;然后调用方法进行切割。主要使用数组的slice方法 所有代码&#xff1a; html <template><div style"padding: 20px&qu…
阅读更多...
分享74个节日PPT，总有一款适合您

分享74个节日PPT，总有一款适合您

分享74个节日PPT&#xff0c;总有一款适合您 74个节日PPT下载链接&#xff1a;https://pan.baidu.com/s/18YHKkyJsplx-Gjj7ofpFrg?pwd6666 提取码&#xff1a;6666 Python采集代码下载链接&#xff1a;采集代码.zip - 蓝奏云 学习知识费力气&#xff0c;收集整理更不易…
阅读更多...
短波红外相机的原理及应用场景

短波红外相机的原理及应用场景

短波红外 (简称SWIR&#xff0c;通常指0.9~1.7μm波长的光线) 是一种比可见光波长更长的光。这些光不能通过“肉眼”看到&#xff0c;也不能用“普通相机”检测到。由于被检测物体的材料特性&#xff0c;一些在可见光下无法看到的特性&#xff0c;却能在近红外光下呈现出来&…
阅读更多...
深度学习数据集的划分(加载kaggle的dog数据,多gpu训练加载参数)待更新

深度学习数据集的划分(加载kaggle的dog数据,多gpu训练加载参数)待更新

待更新 把dog-breed-identification.zip 文件放到data文件目录下&#xff1a; 该文件解压之后得到如下&#xff1a; 遍历train中的所有文件&#xff0c;train_file.split(‘.’)[0]是根据.划分这个文件名&#xff0c;得到前缀和后缀&#xff0c;下标为0的是去掉后缀的文件名…
阅读更多...
国家图书馆论文检索证明申请步骤

国家图书馆论文检索证明申请步骤

国家图书馆论文检索证明申请步骤 登录国家图书馆 咨询提交平台 点击论文收引查证 添加附件这一块&#xff0c;需要自己制作一个有格式的EXCEL 卷&#xff0c;期&#xff0c;页码如何查询&#xff1f; 输入自己的联系方式等待工作人员联系即可
阅读更多...
接口获取数据控制台打印有值但是展开又没有了

接口获取数据控制台打印有值但是展开又没有了

谷歌浏览器只会展现响应式数据最后的结果&#xff0c;证明原来接口是有值的&#xff0c;后面对这个数据进行操作后&#xff0c;最终没有值了。所以对数据进行操作时最好对数据进行一次深拷贝 JSON.parse(JSON.stringify(data))
阅读更多...
配置php扩展开发环境

配置php扩展开发环境

sudo apt-get install bison flex m4 autoconf automake gcc 检查php版本 php -v PHP 5.3.2-1ubuntu4.10 with Suhosin-Patch (cli) (built: Oct 14 2011 23:49:39) Copyright (c) 1997-2009 The PHP Group Zend Engine v2.3.0, Copyright (c) 1998-2010 Zend Technologie…
阅读更多...
堆排序（C语言）

堆排序（C语言）

前言 在上一篇内容&#xff1a;大小堆的实现&#xff08;C语言&#xff09;&#xff0c;我们实现了关于创建大小堆的各函数与实现。但是如果突然要使用一个堆排序但是此时并没有一个现成的堆&#xff0c;这就需要花费时间去新建实现堆的插入删除这些操作从而实现一个堆&#xf…
阅读更多...
python控制网页操作

python控制网页操作

使用Python控制网页操作可以使用Selenium webdriver。 Selenium webdriver是一种自动化测试工具&#xff0c;可以使用它来模拟用户在浏览器上执行的操作。使用Selenium webdriver&#xff0c;可以打开一个浏览器窗口&#xff0c;访问一个网站&#xff0c;填写表单&#xff0c;…
阅读更多...
关于云备份项目的HTTP协议字段理解

关于云备份项目的HTTP协议字段理解

200状态码 给客户端返回该文件全部内容的响应 304状态码 206状态码 和If-Ranage请求头字段搭配使用&#xff0c;
阅读更多...
最新文章

Copyright @ 2022~2023