物流实时数仓:采集通道搭建

系列文章目录

物流实时数仓:环境搭建


文章目录

  • 系列文章目录
  • 前言
  • 一、环境准备
    • 1.前置环境
    • 2.hbase安装
      • 1.上传并解压
      • 2.配置环境变量
      • 3.拷贝jar包
      • 4.编写配置文件
      • 5.分发配置文件
    • 3.Redis安装
      • 1.安装需要的编译环境
      • 2.上传并解压文件
      • 3.编译安装
      • 4.后台访问
    • 4.ClickHouse安装
    • 5.Flink安装
  • 二、数据采集
    • 1.上传文件
    • 2.创建数据库
    • 3.模拟数据
  • 总结


前言

之前学校安排了实训,所以有一堆事情要处理。现在基本算是搞完了,继续进行学习的提升,这次进行的是实时数仓的学习,可以算是大数据学习的最后阶段了。
以下是实时数仓的框架图。
在这里插入图片描述


一、环境准备

1.前置环境

我们需要准备好以下环境
jdk、hadoop、zookeeper、kafka、mysql。
这些环境在之前的离线数仓都安装过,这里就不再重复了。
线上问诊

2.hbase安装

hbase专栏
接下来整合phoenix,这个软件可以让我们用SQL操作hbase

1.上传并解压

在这里插入图片描述

2.配置环境变量

# PHOENIX_HOME
export PHOENIX_HOME=/opt/module/phoenix
export PHOENIX_CLASSPATH=$PHOENIX_HOME
export PATH=$PATH:$PHOENIX_HOME/bin

3.拷贝jar包

cp phoenix-server-hbase-2.4-5.1.3.jar /opt/module/hbase/lib/

4.编写配置文件

vim /opt/module/hbase/conf/hbase-site.xml<property><name>phoenix.schema.isNamespaceMappingEnabled</name><value>true</value>
</property><property><name>phoenix.schema.mapSystemTablesToNamespace</name><value>true</value>
</property>
vim /opt/module/phoenix/bin/hbase-site.xml<property><name>phoenix.schema.isNamespaceMappingEnabled</name><value>true</value>
</property><property><name>phoenix.schema.mapSystemTablesToNamespace</name><value>true</value>
</property>

5.分发配置文件

xsync /opt/module/hbase/lib/phoenix-server-hbase-2.4-5.1.3.jar
xsync /opt/module/hbase/conf/hbase-site.xml 

之后我们启动zk、hadoop和hbase测试一下。
在这里插入图片描述
然后访问以下hbase的webui
http://hadoop102:16010/
在这里插入图片描述
之后连接Phoenix

/opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181

在这里插入图片描述

3.Redis安装

1.安装需要的编译环境

sudo yum install centos-release-scl scl-utils-build 
sudo yum install -y devtoolset-8-toolchain
sudo  scl enable devtoolset-8 bash

2.上传并解压文件

tar -xvf redis-6.0.8.tar.gz -C /opt/module/
cd ../module/redis-6.0.8/

3.编译安装

make
make install

4.后台访问

注意上边命令是用root完成,现在我们用atguigu进行下边的命令。

  1. 备份redis.conf
cp /opt/module/redis-6.0.8/redis.conf ~/my_redis.conf
  1. 修改设置
vim  ~/my_redis.conf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. Redis启动
redis-server ./my_redis.conf

在这里插入图片描述

4.ClickHouse安装

具体内容参考之前的博客不写了
ClickHouse

5.Flink安装

Flink安装

二、数据采集

1.上传文件

cd /opt/module/
mkdir tms
cd tms

在这里插入图片描述

2.创建数据库

在这里插入图片描述
然后运行.sql文件
在这里插入图片描述
里面会有一些初始数据。
在这里插入图片描述

3.模拟数据

修改一下
application.yml
在这里插入图片描述
这里的信息根据自己的数据库信息进行修改。

java -jar tms-mock-2023-01-06.jar

在这里插入图片描述
由于我们模拟的是实时数仓,所以他会不停的生成数据,所以等个半分钟,就可以终止进程然后去数据库看数据了。
在这里插入图片描述
这就是生成数据的实时时间,说明数据进行了更新,但这不是模拟数据的时间,模拟数据的时间可以在application.yml设置。

换个表查看
在这里插入图片描述
我们发现实时数据也进行了更新。


总结

至此,物流实时数仓采集通道搭建完成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/152971.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenCvSharp从入门到实践-(01)认识OpenCvSharp开发环境搭建

目录 一、OpenCV 二、OpenCvSharp 三、OpenCvSharp开发环境搭建 四、下载 五、其他 一、OpenCV OpenCV是基于Apache2.0许可&#xff08;开源&#xff09;发行的跨平台计算机视觉和机器学习函数库&#xff0c;支持Windows、Linux、Android和Mac OS操作系统。OpenCV由一系…

Oracle for Windows安装和配置——Oracle for Windows net配置

2.3. Oracle for Windows net配置 2.3.1. Oracle net配置 2.3.1.1. Oracle net简介 前述章节中,我们只是安装了数据库软件,创建了数据库,测试在服务器本地连接查询数据库。但还不能通过网络远程连接访问数据库,因为我们还没配置用来远程连接访问该数据库的组件Oracle ne…

【Linux】缓冲区+磁盘+动静态库

一、缓冲区 1、缓冲区的概念 缓冲区的本质就是一段用作缓存的内存。 2、缓冲区的意义 节省进程进行数据IO的时间。进程使用fwrite等函数把数据拷贝到缓冲区或者外设中。 3、缓冲区刷新策略 3.1、立即刷新&#xff08;无缓冲&#xff09;——ffush() 情况很少&#xff0c…

【蓝桥杯 第十五届模拟赛 Java B组】训练题(A - I)

目录 A、求全是字母的最小十六进制数 B、Excel表格组合 C、求满足条件的日期 D、 取数字 - 二分 &#xff08;1&#xff09;暴力 &#xff08;2&#xff09;二分 E、最大连通块 - bfs F、哪一天&#xff1f; G、信号覆盖 - bfs &#xff08;1&#xff09;bfs&#xf…

【前端学java】java中的日期操作(12)

往期回顾&#xff1a; 【前端学java】JAVA开发的依赖安装与环境配置 &#xff08;0&#xff09;【前端学 java】java的基础语法&#xff08;1&#xff09;【前端学java】JAVA中的packge与import&#xff08;2&#xff09;【前端学java】面向对象编程基础-类的使用 &#xff08…

力扣labuladong——一刷day42

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、力扣222. 完全二叉树的节点个数 前言 计算二叉树的节点个数&#xff0c;计算满二叉树的节点个数&#xff0c;计算完全二叉树的节点个数 一、力扣222. 完全…

使用Python的turtle模块绘制玫瑰花图案(含详细Python代码与注释)

1.1引言 turtle模块是Python的标准库之一&#xff0c;它提供了一个绘图板&#xff0c;让我们可以在屏幕上绘制各种图形。通过使用turtle&#xff0c;我们可以创建花朵、叶子、复杂的图案等等。本博客将介绍如何使用turtle模块实现绘制图形的过程&#xff0c;并展示最终结果。 …

创建一个用户test且使用testtab表空间及testtemp临时表空间并授予其权限,密码随意

文章目录 1、连接到数据库2、创建表空间3、创建用户4、授予权限5、测试 1、连接到数据库 sqlplus / as sysdba2、创建表空间 创建testtab表空间 CREATE TABLESPACE testtab DATAFILE /u01/app/oracle/oradata/orcl/testtab.dbf SIZE 50M AUTOEXTEND ON NEXT 5M MAXSIZE …

Unity中Shader法线贴图(下)理论篇

文章目录 前言一、采样出错的原因二、切线空间是什么&#xff1f;切线空间图解&#xff1a; 三、计算方式1、统一变换到切线空间下进行计算2、统一变换到世界空间下进行计算 四、一般统一变换到世界空间下的坐标进行计算1、求M^-1^2、求出n~w~ 前言 这篇文章&#xff0c;主要解…

[Android] Amazon 的 android 音视频开发文档

https://developer.amazon.com/zh/docs/fire-tv/audio-video-synchronization.html#22-getplaybackheadposition-api-level-3https://developer.amazon.com/zh/docs/fire-tv/audio-video-synchronization.html#22-getplaybackheadposition-api-level-3

车载毫米波雷达行业发展1——概述

1.1 毫米波雷达定义及产品演进 1.1.1 毫米波雷达定义 毫米波雷达(mmWave Radar)是指工作在毫米波波段的雷达&#xff0c;其频域介于 30&#xff5e;300GHz&#xff0c;波长1~10mm。毫米波雷达稳定性高&#xff0c;抗干扰能力强&#xff0c;可穿透雾、烟、灰尘环境&#xff0…

Java基础-----StringBuffer和StringBuilder

文章目录 1.StringBuffer1.1 构造方法1.2 常用方法 2.StringBuilder3.String、StringBuffer、StringBuilder的区别 1.StringBuffer 内容可变的字符串类&#xff0c;适应StringBuffer来对字符串的内容进行动态操作&#xff0c;不会产生额外的对象。StringBuffer在初始时&#x…

AI集成ChatGPT敲代码神器Copilot

&#x1f4d1;前言 本文主要是AI工具Copilot解读文章&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是青衿&#x1f947; ☁️博客首页&#xff1a;CSDN主页放风讲故事 &#x1f304;每日一句&#xff1a;努力…

实现领域驱动设计-应用结构

写在前面&#xff1a; DDD的一大好处便是它并不需要使用特定的架构。我们可以在整个系统中使用多种风格的架构。有些架构包围着领域模型&#xff0c;能够全局性地影响系统&#xff0c;而有些架构则满足了某些特定的需求。我们的目标是选择适合于自己的架构和架构模式。 在选择架…

【HarmonyOS开发】配置开发工具DevEco Studio

1、下载 注意&#xff1a; 1、安装过程中&#xff0c;一定要自定义安装位置&#xff0c;包比较大&#xff0c;包比较大&#xff0c;包比较大&#xff01;&#xff01;&#xff01; 2、可以将该工具添加到右键中&#xff0c;否则&#xff0c;如果你的项目不是HarmonyOS&#xff…

分布式系统中的乐观和错误假设

避免协调是让我们构建的分布式系统超越单机性能的一个基本要素。当我们构建避免协调的系统时&#xff0c;我们最终构建的组件会假设其他组件在做什么。这一点也很重要。如果两个组件不能在每一步操作后都互相检查&#xff0c;那么它们就需要对其他组件正在进行的行为做出假设。…

openssl C++研发之pem格式处理详解

一、PEM_writeXXX和EM_write_bio_XXX 在OpenSSL的crypto/pem.h头文件中&#xff0c;PEM_write_XXXX和PEM_write_bio_XXXX系列函数用于将特定类型的数据写入文件或BIO&#xff08;内存缓冲区&#xff09;中&#xff0c;其中XXXX代表不同的数据类型。 这些函数的使用方式相似&a…

C++二分查找算法:132模式枚举3简洁版

本文涉及的基础知识点 二分查找算法合集 本题不同解法 包括题目及代码C二分查找算法&#xff1a;132 模式解法一枚举3C二分查找算法&#xff1a;132 模式解法二枚举2代码简洁C二分查找算法&#xff1a;132 模式解法三枚举1性能最佳C单调向量算法&#xff1a;132 模式解法三枚…

BetterDisplay Pro v2.0.11(显示器颜色校准软件)

BetterDisplay Pro是一款为Mac电脑设计的屏幕亮度调节软件&#xff0c;旨在提高显示器的色彩和亮度表现。它可以根据用户的需求和显示器的特性&#xff0c;自动调整显示器的亮度、色温、对比度等参数&#xff0c;以获得更加真实、舒适的视觉效果。 这款软件拥有智能调节功能&a…

数据结构:枚举

概念 枚举主要用途是&#xff1a;将一组常量组织起来&#xff0c;在这之前表示一组常量通常使用定义常量的方式&#xff1a; 比如下面的例子&#xff1a; public static final int RED 1; public static final int GREEN 2; public static final int BLACK 3; 利用常量…