Dinky上路之旅

1、部署flink集群

1.1、flink-conf.yaml

cat > flink-conf.yaml << EOF 
jobmanager.rpc.address: boshi-146
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0.0.0
jobmanager.memory.process.size: 1600m
taskmanager.bind-host: 0.0.0.0
# 修改为本机ip
taskmanager.host: 0.0.0.0
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
jobmanager.execution.failover-strategy: region
rest.address: boshi-146
rest.bind-address: 0.0.0.0
classloader.check-leaked-classloader: falseEOF

1.2、配置 workers 文件

cat > workers << EOF 
boshi-107
boshi-124
boshi-131
boshi-139
EOF

1.3、配置 master 文件

cat > masters << EOF 
boshi-146:8081
EOF

1.4、分发文件

ansible cluster -m file -a "path=/data/app state=directory"
ansible cluster -m copy -a "src=/data/app/flink-1.17.1 dest=/data/app/ owner=root group=root mode=0755"

1.5、分别修改workers节点taskmanager.host

taskmanager.host: hostname

1.6、启动Standalone集群

bin/start-cluster.sh

1.7、访问Standalone集群

http://boshi-146:8081

1.8、Yarn Session集群(HDP3.1)

# 修改hdfs配置
dfs.permissions=false#启动集群
export HADOOP_CLASSPATH=`hadoop classpath`
/data/app/flink-1.17.1/bin/yarn-session.sh -d

2、Dinky部署

2.1、MySQL建库并导入数据

CREATE DATABASE dlink;
create user 'dlink'@'%' IDENTIFIED WITH mysql_native_password by 'Dlink*2023';
grant ALL PRIVILEGES ON dlink.* to 'dlink'@'%';
flush privileges;mysql -udlink -pDlink*2023use dlink;source /data/app/dlink/sql/dinky.sql;

2.2、加载Flink依赖

cp /data/app/flink-1.17.1/lib/* /data/app/dlink/plugins/flink1.17/

2.3、加载Hadoop依赖

cp flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar /data/app/dlink/plugins/

2.4、上传jar包

# 创建HDFS目录并上传dinky的jar包
sudo -u hdfs hdfs dfs -mkdir -p /dlink/jar/
sudo -u hdfs hdfs dfs -put /data/app/dlink/jar/dlink-app-1.17-0.7.3-jar-with-dependencies.jar /dlink/jar# 创建HDFS目录并上传flink的jar包
sudo -u hdfs hadoop fs -mkdir /dlink/flink-dist-17
sudo -u hdfs hadoop fs -put /data/app/flink-1.17.1/lib /dlink/flink-dist-17
sudo -u hdfs hadoop fs -put /data/app/flink-1.17.1/plugins /dlink/flink-dist-17

2.5、修改配置

vi ./config/application.ymlspring:datasource:url: jdbc:mysql://${MYSQL_ADDR:boshi-146:3306}/${MYSQL_DATABASE:dinky}?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=trueusername: ${MYSQL_USERNAME:dinky}password: ${MYSQL_PASSWORD:dinky}driver-class-name: com.mysql.cj.jdbc.Driverapplication:name: dinkymvc:pathmatch:matching-strategy: ant_path_matcherformat:date: yyyy-MM-dd HH:mm:ss#json格式化全局配置jackson:time-zone: GMT+8date-format: yyyy-MM-dd HH:mm:ssmain:allow-circular-references: true

2.6、启动并登录Dinky

cd /data/app/dlink
sh auto.sh start 1.17http://boshi-146:8888
admin/admin

2.7、Flink设置

2.7.1、配置中心

在这里插入图片描述

2.7.2、Flink实例管理

1、standalone

在这里插入图片描述

2、Yarn Session

在这里插入图片描述

3、注册中心

在这里插入图片描述

2.7.3、集群配置管理

3、Dinky本地启动

3.1、安装环境

http://www.dlink.top/docs/next/developer_guide/local_debug
首先按照官网的步骤安装环境。npm	       7.19.0
node.js	   14.17.0
jdk	       1.8
maven	   3.6.0+
lombok	   IDEA插件安装
mysql	   5.7+版本必须一致。不然要踩很多坑。

3.2、升级flink-connector-starrocks

        <dependency><groupId>com.starrocks</groupId><artifactId>flink-connector-starrocks</artifactId><version>1.2.7_flink-1.13_${scala.binary.version}</version><exclusions><exclusion><groupId>com.github.jsqlparser</groupId><artifactId>jsqlparser</artifactId></exclusion></exclusions></dependency>

3.3、升级mysql-version

 <mysql-connector-java.version>8.0.33</mysql-connector-java.version>

3.4、本地编译测试

mvn clean install -P dev,scala-2.12,flink-1.14,web '-Dspotless.check.skip=true' -DskipTests

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/80588.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++系列赋值运算符重载

赋值运算符重载 类的默认函数拷贝构造函数和赋值运算符 重载赋值运算符相关注意事项 类的默认函数 一个类至少有4个默认函数&#xff1a; 默认构造函数拷贝构造函数析构函数赋值运算符重载函数 拷贝构造函数和赋值运算符 拷贝构造函数是在创建类的时候调用的&#xff0c;之…

c++八股day2-虚函数表和虚函数表指针的创建时机

虚函数表和虚函数表指针的创建时机。 背景&#xff1a;用来实现多态&#xff08;包括静态多态和动态多态&#xff09;&#xff0c;多态的原理就是虚函数表和虚函数表指针 虚函数表的创建时机&#xff1a; a.什么时候生成的&#xff1f;编译器编译的时候声生成的&#xff0c;…

第二篇------Virtual I/O Device (VIRTIO) Version 1.1

上篇文章&#xff1a;https://blog.csdn.net/Phoenix_zxk/article/details/132917657 篇幅太大&#xff0c;所以分开写&#xff0c;接下来续上 4.3.3.2.1 设备要求&#xff1a;Guest->Host 通知 设备必须忽略 GPR2 的位 0-31&#xff08;从左边数&#xff09;。这样可以使…

高阶数据结构(2)-----红黑树(未完成)

一)红黑树的基本概念和基本性质: 1)红黑树就是一种高度平衡的二叉搜索树&#xff0c;但是在每一个节点上面都增加了一个存储位来表示结点的颜色&#xff0c;可以是红色或者是黑色&#xff0c;通过对任何一条从根节点到叶子节点上面的路径各个节点着色方式的限制&#xff0c;红黑…

做品牌定位,品牌三问是什么?

中小企业起步阶段打造品牌之前&#xff0c;一定要问自己三个问题&#xff0c;分别是&#xff1a; 一、你是什么&#xff1a;解决品类认知的问题&#xff1b; 二、有何不同&#xff1a;解决差异化定位问题&#xff1b; 三、何以见得&#xff1a;解决顾客信任感问题。 这就是…

交叉编译工具链-Ubuntu 安装说明

交叉编译工具链-Ubuntu 安装说明 【实验目的】 了解交叉编译工具链的安装方法与使用方法 【实验环境】 1、 ubuntu 14.04 发行版 【注意事项】 1、实验步骤中以“$”开头的命令表示在 ubuntu 环境下执行 【实验步骤】 1、安装交叉编译工具链 在 ubuntu 下打开一个终端并进入到家…

如何在控制台显示MyBatis的SQL语句

对于application.properties文件&#xff0c;添加以下配置&#xff1a; # 开启 MyBatis SQL日志输出 logging.level.org.mybatisdebug# 输出格式化的 SQL语句 mybatis.configuration.log-implorg.apache.ibatis.logging.stdout.StdOutImpl# 配置数据库方言 # MySQL方言 mybati…

C语言指针进阶(2)

大家好&#xff0c;我们今天继续来分享指针进阶的内容。 目录 5.函数指针 6.函数指针数组 7. 指向函数指针数组的指针 8. 回调函数 5.函数指针 顾名思义函数指针里面存的就是函数的地址了。 那我们通过一段代码来理解函数指针&#xff1a; #include<stdio.h> int Add…

LeetCode 1584. 连接所有点的最小费用【最小生成树】

本文属于「征服LeetCode」系列文章之一&#xff0c;这一系列正式开始于2021/08/12。由于LeetCode上部分题目有锁&#xff0c;本系列将至少持续到刷完所有无锁题之日为止&#xff1b;由于LeetCode还在不断地创建新题&#xff0c;本系列的终止日期可能是永远。在这一系列刷题文章…

【CVPR2020】DEF:Seeing Through Fog Without Seeing Fog论文阅读分析与总结

Challenge&#xff1a; 之前网络架构的设计假设数据流是一致的&#xff0c;即出现在一个模态中的对象也出现在另一个模态中。然而&#xff0c;在恶劣的天气条件下&#xff0c;如雾、雨、雪或极端照明条件&#xff0c;多模态传感器配置中的信息可能不对称。不同传感器在特征提取…

Ts中的Pick,Omit,Extract和Exclude区别

前言 ts内置的一些常用工具类型&#xff0c;简化ts的操作。它们都是基于泛型实现的&#xff0c;并且内置的&#xff0c;可直接使用。 希望对大家有所帮助同时欢迎讨论并指出问题&#xff01; 1. Pick(选择) 通俗的说法就是&#xff1a;在已经定义的对象中选取一些 pick<T&am…

如何将两个或多个组件嵌入到一个组件中?

将两个或多个组件嵌入到一个组件中是React中的一个常见做法。这通常通过使用React.Children.map函数和React.cloneElement函数来完成。以下是一个示例&#xff0c;说明如何将两个子组件嵌入到父组件中&#xff1a; import React from react;class ParentComponent extends Rea…

MySQL常见的性能优化方法技巧以及示例

MySQL常见的性能优化方法技巧以及示例 MySQL是一种广泛用于管理和存储数据的关系型数据库管理系统。在处理大规模数据和高并发请求时&#xff0c;MySQL的性能优化变得尤为重要。本文将介绍一些常见的MySQL性能优化方法和技巧&#xff0c;以及相应的示例&#xff0c;帮助您提升…

Python 08学习之文件操作

&#x1f600;前言 欢迎来到Python 08学习之文件操作。在本文中&#xff0c;我们将介绍计算机中常见的文本文件和二进制文件&#xff0c;并探讨在Python中操作文件的步骤和相关函数/方法。通过学习本文&#xff0c;您将能够了解如何使用Python打开、读取、写入和关闭文件&#…

pyhton内置的数据类型(二)

pyhton内置的数据类型 一、内置数据类型的解释创建及赋值二、表示转义的符号实例操作 二、字符串的基本特性1.连接操作符 “ ” &#xff0c;提示&#xff1a;必须是同一数据类型才能相加2. 重复操作符 “ * ”3.成员操作符 “ in ”4. 正向索引和反向索引5. 切片&#xff08;…

MySQL与Oracle的分页

MySQL与Oracle的分页 当我们通过SQL去查询一个结果集的时候&#xff0c;并不需要查看所有行&#xff0c;可能只是查看前几行&#xff0c;或者中间的几行。则需要像MySQL的limit或Oracle的ROWNUM与FETCH NEXT来实现。 MySQL 语法 SELECT * FROM table_name LIMIT [offset,] ro…

Redis的介绍,安装Redis的方式

&#x1f40c;个人主页&#xff1a; &#x1f40c; 叶落闲庭 &#x1f4a8;我的专栏&#xff1a;&#x1f4a8; c语言 数据结构 javaEE 操作系统 石可破也&#xff0c;而不可夺坚&#xff1b;丹可磨也&#xff0c;而不可夺赤。 Redis 初识Redis1.1 认识Redis1.2 安装Redis的方式…

自定义Dynamics 365实施和发布业务解决方案 - 6. Azure集成

在本章中,我们将讨论可用于实现快速和可扩展解决方案的Azure集成。我们将重点关注在Dynamics365实现中有用的三种类型的Azure技术。它们是Azure WebJobs、函数和逻辑应用程序。Azure WebJobs非常适合在后台运行的批处理。由于我们在本章中讨论的是Azure技术,我们还将快速了解…

Hadoop生态圈中的Flume数据日志采集工具

Hadoop生态圈中的Flume数据日志采集工具 一、数据采集的问题二、数据采集一般使用的技术三、扩展&#xff1a;通过爬虫技术采集第三方网站数据四、Flume日志采集工具概述五、Flume采集数据的时候&#xff0c;核心是编写Flume的采集脚本xxx.conf六、Flume案例实操1、采集一个网络…

嵌入式系统设计与应用---嵌入式系统概述(学习笔记)

目录​​​​​​​ 嵌入式系统 概念 组成 嵌入式常用的操作系统 与PC机的区别 开发 软件开发 硬件开发 嵌入式处理器 分类 嵌入式系统 概念 以应用为中心&#xff0c;以计算机技术为基础&#xff0c;软硬件可载剪&#xff0c;适应对功能、可靠性、成本&#xff0c…