大数据-159 Apache Kylin 构建Cube 准备和测试数据

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（已更完）
  • Kylin（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Apache Kylin 安装
  • Apache Kylin 部署
  • Apache Kylin 集群模式

在这里插入图片描述

Cube 介绍

Apache Kylin 是一个开源的分布式分析引擎，专注于提供大数据的实时OLAP（在线分析处理）能力。Cube（立方体）是 Apache Kylin 的核心概念之一，通过预计算大规模数据的多维数据集合，加速复杂的 SQL 查询。下面详细介绍 Cube 的关键点：

Cube 的基本概念

Kylin 中的 Cube 是通过对一组事实表（通常是业务数据表）进行多维建模后，生成的预计算数据结构。Cube 涉及对多维数据的度量和维度的组合，从而可以在查询时通过检索预先计算的结果来显著减少计算开销。

  • 维度（Dimension）：数据中用于分组、筛选和切片的数据字段，例如时间、地区、产品等。
  • 度量（Measure）：通常是需要进行聚合计算的数据字段，例如销售额、订单数等。
  • Cuboid：每个 Cube 由多个 Cuboid 构成，Cuboid 是一个特定维度组合的子集。Cube 中每种维度组合都会生成一个 Cuboid，每个 Cuboid 存储了该组合下的预聚合结果。

Cube 的创建过程

  • 数据建模：首先在 Kylin 中创建一个数据模型（Data Model），这个模型定义了事实表和维度表之间的关系，类似于星型或雪花型模式。模型中也定义了需要聚合的度量字段。
  • Cube 设计：基于数据模型设计 Cube，指定 Cube 的维度和度量。Kylin 会根据定义自动计算所有可能的维度组合（Cuboid）。
  • 构建 Cube：构建过程会读取底层数据源（如 Hive、HBase、Kafka），然后根据指定的维度和度量生成每个 Cuboid 的预计算数据。这些预计算结果存储在 HBase 或其他存储引擎中。

Cube 的查询与优化

  • 查询加速：当有 SQL 查询请求到达时，Kylin 会根据查询所涉及的维度组合，选择合适的 Cuboid 返回结果，避免了实时计算，极大地提高了查询性能。
  • Cube 优化：为了控制 Cube 大小和加速构建，Kylin 支持裁剪 Cube，通过配置仅生成部分 Cuboid，这称为“Aggregation Group”，可以减少冗余计算。

实时 OLAP

Kylin 4.0 引入了对实时 OLAP 的支持，使用 Kafka 作为实时数据流输入，构建实时 Cube。通过使用 Lambda 架构，Kylin 可以支持实时和批处理数据的整合分析。

Cube 的典型应用场景

  • 大规模数据分析：Cube 适用于分析超大规模的数据集，通过预计算方式加速查询。
  • 实时分析：实时 Cube 允许用户在近乎实时的基础上分析流数据。
  • 商业智能（BI）工具的集成：Kylin 提供与 Tableau、Power BI 等常见 BI 工具的集成，用户可以使用熟悉的 SQL 查询语言进行复杂的多维分析。

前置要求

需要你配置并且启动好了 Kylin！
由于我是在 h122.wzk.icu 节点上启动的，所以下面的操作都在 h122 节点上，后续没有详细说明就是在该机器上了。

准备数据

在这里插入图片描述

准备数据

将4个数据文件：

  • dw_sales_data.txt
  • dim_channel_data.txt
  • dim_product_data.txt
  • dim_region_data.txt

我写了几个脚本来辅助生成数据
在这里插入图片描述

dw_sales_data

import random
import datetime# 设置参数
num_records = 1000
output_file = 'dw_sales_data.txt'# 定义可能的值
channel_ids = ['C001', 'C002', 'C003', 'C004']
product_ids = ['P001', 'P002', 'P003', 'P004']
region_ids = ['R001', 'R002', 'R003', 'R004']
base_date = datetime.date(2024, 1, 1)# 生成数据
with open(output_file, 'w') as f:for i in range(num_records):record_id = f"{i+1:04d}"date1 = (base_date + datetime.timedelta(days=random.randint(0, 365))).strftime('%Y-%m-%d')channel_id = random.choice(channel_ids)product_id = random.choice(product_ids)region_id = random.choice(region_ids)amount = random.randint(1, 100)price = round(random.uniform(10.0, 500.0), 2)line = f"{record_id},{date1},{channel_id},{product_id},{region_id},{amount},{price}\n"f.write(line)print(f"{num_records} records have been written to {output_file}")

生成数据如下图所示：
在这里插入图片描述

dim_channel_data

# 设置参数
output_file = 'dim_channel_data.txt'# 定义渠道ID和渠道名称
channels = [('C001', 'Online Sales'),('C002', 'Retail Store'),('C003', 'Wholesale'),('C004', 'Direct Sales')
]# 生成数据
with open(output_file, 'w') as f:for channel_id, channel_name in channels:line = f"{channel_id},{channel_name}\n"f.write(line)print(f"Channel data has been written to {output_file}")

生成数据如下图所示：
在这里插入图片描述

dim_product_data

# 设置参数
output_file = 'dim_product_data.txt'# 定义产品ID和产品名称
products = [('P001', 'Smartphone'),('P002', 'Laptop'),('P003', 'Tablet'),('P004', 'Smartwatch'),('P005', 'Camera'),('P006', 'Headphones'),('P007', 'Monitor'),('P008', 'Keyboard'),('P009', 'Mouse'),('P010', 'Printer')
]# 生成数据
with open(output_file, 'w') as f:for product_id, product_name in products:line = f"{product_id},{product_name}\n"f.write(line)print(f"Product data has been written to {output_file}")

生成数据如下图所示：
在这里插入图片描述

dim_region_data

# 设置参数
output_file = 'dim_region_data.txt'# 定义区域ID和区域名称
regions = [('R001', 'North America'),('R002', 'Europe'),('R003', 'Asia'),('R004', 'South America'),('R005', 'Africa'),('R006', 'Australia'),('R007', 'Antarctica')
]# 生成数据
with open(output_file, 'w') as f:for region_id, region_name in regions:line = f"{region_id},{region_name}\n"f.write(line)print(f"Region data has been written to {output_file}")

生成的数据如下图所示：
在这里插入图片描述

kylin_examples.sql

-- 创建订单数据库、表结构
create database if not exists `wzk_kylin`;
-- 1、销售表：dw_sales
-- id 唯一标识
-- date1 日期
-- channelId 渠道ID
-- productId 产品ID
-- regionId 区域ID
-- amount 数量
-- price 金额
create table wzk_kylin.dw_sales(id string,date1 string,channelId string,productId string,regionId string,amount int,price double
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
-- 2、渠道表：dim_channel
-- channelId 渠道ID
-- channelName 渠道名称
create table wzk_kylin.dim_channel(channelId string,channelName string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
-- 3、产品表：dim_product
create table wzk_kylin.dim_product(productId string,productName string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
--4、区域表：dim_region
create table wzk_kylin.dim_region(regionId string,regionName string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';-- 导入数据
LOAD DATA LOCAL INPATH '/opt/wzk/kylin_test/dw_sales_data.txt'
OVERWRITE INTO TABLE wzk_kylin.dw_sales;
LOAD DATA LOCAL INPATH '/opt/wzk/kylin_test/dim_channel_data.txt'
OVERWRITE INTO TABLE wzk_kylin.dim_channel;
LOAD DATA LOCAL INPATH '/opt/wzk/kylin_test/dim_product_data.txt'
OVERWRITE INTO TABLE wzk_kylin.dim_product;
LOAD DATA LOCAL INPATH '/opt/wzk/kylin_test/dim_region_data.txt'
OVERWRITE INTO TABLE wzk_kylin.dim_region;

运行数据

我们需要把刚才的数据上传到指定目录上，/opt/wzk/目录下。

cd /opt/wzk/kylin_test

我已经上传到服务器上了：
在这里插入图片描述

SQL文件也记得上传上去
在这里插入图片描述
执行Hive：

hive -f kylin_examples.sql

执行结果如下图所示：
在这里插入图片描述

测试数据

我们需要启动Hive

hive

执行结果如下图所示：
在这里插入图片描述
执行如下的指令：

use wzk_kylin;
select date1, sum(price) as total_money, sum(amount) as
total_amount
from dw_sales
group by date1;

执行结果如下图所示：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/55146.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

QT TCP服务器/客户端

QT TCP服务器/客户端

服务器 首先要在.pro文件中添加network&#xff0c;否则将不能使用QTcpserver QT core gui network#ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> #include <QTcpSocket> #define PORT 8000QT_BEGIN_NAMESPACE namesp…
阅读更多...
使用Rollup.js快速开始构建一个前端项目

使用Rollup.js快速开始构建一个前端项目

Rollup 是一个用于 JavaScript 项目的模块打包器&#xff0c;它将小块代码编译成更大、更复杂的代码&#xff0c;例如库或应用程序。Rollup 对代码模块使用 ES6 模块标准&#xff0c;它支持 Tree-shaking&#xff08;摇树优化&#xff09;&#xff0c;可以剔除那些实际上没有被…
阅读更多...
第7章 网络请求和状态管理

第7章 网络请求和状态管理

一、Axios 1 Axios概述 Axios是一个基于Promise的HTTP库&#xff0c;可以发送get、post等请求&#xff0c;它作用于浏览器和Node.js中。当运行在浏览器时&#xff0c;使用XMLHttpRequest接口发送请求&#xff1b;当运行在Node.js时&#xff0c;使用HTTP对象发送请求。 Axios的…
阅读更多...
【jeston】torch相关环境安装

【jeston】torch相关环境安装

参考&#xff1a;玩转NVIDIA Jetson &#xff08;25&#xff09;— jetson 安装pytorch和torchvision torch install 安装环境 conda create -n bisenet python3.8 conda activate bisenethttps://forums.developer.nvidia.com/t/pytorch-for-jetson/72048 import torch pri…
阅读更多...
java异步多线程Async学习记录

java异步多线程Async学习记录

java异步多线程Async学习记录 第1步：声明线程池AsyncConfiguration import org.springframework.context.annotation.Bean; import org.springframework
阅读更多...
关联信息融合的知识图补全方法

关联信息融合的知识图补全方法

目前&#xff0c;一些基于知识表示学习的补全方法没有充分考虑多步关系路径中各关系与直接关系之间的关联信息&#xff0c;以及头尾实体类型与直接关系之间的关联信息。 本论文对这些关联信息进行提取和利用&#xff0c;并提出了知识图补全的AiTransE模型。该模型利用首尾实体之…
阅读更多...
基于华为云智慧生活生态链设计的智能鱼缸

基于华为云智慧生活生态链设计的智能鱼缸

一. 引言 1.1 项目背景 随着智能家居技术的发展和人们对高品质生活的追求日益增长&#xff0c;智能鱼缸作为一种结合了科技与自然美的家居装饰品&#xff0c;正逐渐成为智能家居领域的新宠。本项目旨在设计一款基于华为云智慧生活生态链的智能鱼缸&#xff0c;它不仅能够提供…
阅读更多...
BugReport中的网络差现象

BugReport中的网络差现象

一、摘要 当出现网络不好时(日志关键字“process data stall”)&#xff0c;会出现com.android.networkstack.process 后台进程联网访问“http://www.google.cn/generate_204”进行网络检测的行为&#xff0c;会额外带来功耗电流。遇到这种情况&#xff0c;主要是环境因素&…
阅读更多...
Echarts图表柱状图基本用法（横向、纵向、柱宽度、圆角、图表渐变色、图表滚动条、图例样式等）

Echarts图表柱状图基本用法（横向、纵向、柱宽度、圆角、图表渐变色、图表滚动条、图例样式等）

效果图&#xff1a; JS: function chart(){var chartDom document.getElementById(这里写div的id名称);var myChart echarts.init(chartDom);var option;myChart.clear();//图表清除&#xff0c;用于更新数据重新加载图表option {//编辑图表整体布局宽、高等等grid:{top:20…
阅读更多...
Android基于gradle task检查各个module之间资源文件冲突情况

Android基于gradle task检查各个module之间资源文件冲突情况

做组件化开发的时候&#xff0c;我们经常会遇到各个不同的module之间资源文件冲突的问题&#xff0c;运行也不报错&#xff0c;但是会出现覆盖的问题&#xff0c;导致运行之后发送错误的效果。 所以我们需要利用一个gradlke 脚本task&#xff0c;来自动化检查资源文件冲突。 …
阅读更多...
腾讯云-云直播

腾讯云-云直播

云直播&#xff08;Cloud Streaming Services&#xff09;为您提供极速、稳定、专业的直播云端处理服务&#xff0c;根据业务中不同直播场景的需求&#xff0c;云直播提供标准直播、快直播、慢直播和云导播台服务&#xff0c;分别针对大规模实时观看、高并发推流录制及超低延时…
阅读更多...
Jenkins配置流水线任务-实践操作(Pipeline-script)

Jenkins配置流水线任务-实践操作(Pipeline-script)

Jenkins配置流水线任务-实践操作(Pipeline-script) 1、新增jenkins 任务&#xff0c;选择流水线 2、参数化 3、流水线配置 pipeline {agent anystages {stage(aoePlugin_mysql) {steps {echo "xxx&#xff0c;数据库:Mysql"echo "${HOST},${USER_NAME}"b…
阅读更多...
AGI｜如何构建一个RAG应用？入门新手攻略！

AGI｜如何构建一个RAG应用？入门新手攻略！

目录 一、概述 二、过程概述 三、如何优化提问&#xff1f; 四、路由和高级查询 五、丰富索引结构 六、重排序上下文 七、总结 一、概述 Retrieval Augmented Generation RAG 检索增强的内容生成。 从字面上来看检索只是一种手段途径&#xff0c;在人工智能领域中存在多种…
阅读更多...
leetcode计数排序

leetcode计数排序

计数排序&#xff08;counting sort&#xff09;通过统计元素数量来实现排序&#xff0c;通常应用于整数数组。 给定一个长度为 的数组 nums &#xff0c;其中的元素都是“非负整数” def counting_sort(nums: list[int]):"""计数排序"""# 完整实…
阅读更多...
从调用NCCL到深入NCCL源码

从调用NCCL到深入NCCL源码

本小白目前研究GPU多卡互连的方案&#xff0c;主要参考NCCL和RCCL进行学习&#xff0c;如有错误&#xff0c;请及时指正&#xff01; 内容还在整理中&#xff0c;近期不断更新&#xff01;&#xff01; 背景介绍 在大模型高性能计算时会需要用到多卡&#xff08;GPU&#xf…
阅读更多...
三勾点餐|后台页面更新

三勾点餐|后台页面更新

项目介绍 三勾点餐系统基于thinkphp8element-plusuniapp打造的面向开发的小程序商城&#xff0c;方便二次开发或直接使用&#xff0c;可发布到多端&#xff0c;包括微信小程序、微信公众号、QQ小程序、支付宝小程序、字节跳动小程序、百度小程序、android端、ios端。 功能说明…
阅读更多...
从头开始的可视化数据 matplotlib：初学者努力绘制数据图

从头开始的可视化数据 matplotlib：初学者努力绘制数据图

从头开始学习使用 matplotlib 可视化数据&#xff0c;对于初学者来说&#xff0c;可能会有些挑战&#xff0c;但 matplotlib 的核心理念非常清晰&#xff1a;绘制图表需要了解如何设置图形、坐标轴以及如何用数据填充它们。我们可以通过一些简单的例子来逐步介绍基本步骤。 1. …
阅读更多...
代码审计笔记-PHP

代码审计笔记-PHP

PHP 1.php的弱类型 PHP 的“弱类型”是指在这门编程语言中&#xff0c;变量的类型在赋值时会被自动推断&#xff0c;而不是在变量声明时显式地指定类型。这意味着在 PHP 中&#xff0c;您可以将不同类型的值赋给同一个变量&#xff0c;而不需要进行类型转换或重新声明变量。 举…
阅读更多...
基于Opencv中的DNN模块实现图像/视频的风格迁移

基于Opencv中的DNN模块实现图像/视频的风格迁移

一、DNN模块的介绍 1、简介 OpenCV中的DNN&#xff08;Deep Neural Network&#xff09;模块是一个功能强大的组件&#xff0c;它支持深度学习网络模型的加载和推理。虽然DNN模块不提供模型的训练功能&#xff0c;但它可以与主流的深度学习框架&#xff08;如TensorFlow、Caf…
阅读更多...
并行 parallel broadcast partition pruning 分区裁剪 optimizer_dynamic_sampling=7

并行 parallel broadcast partition pruning 分区裁剪 optimizer_dynamic_sampling=7

insert into abc 没有PDML所以不是全部并行 只有select 的情况 全部并行&#xff0c;没有 px send broadcast &#xff0c;所以rows没从103M变成103*8M select *from A&#xff0c;B where A.Pkey B.Pkey and A.Pkey XX A B表都会进行分区裁剪 ----并行为什么更…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023