大数据Flink（一百二十四）：案例实践——淘宝母婴数据加速查询

文章目录

案例实践——淘宝母婴数据加速查询

一、​​​​​​​创建数据库表并导入数据

二、​​​​​​​​​​​​​​创建session集群

三、​​​​​​​​​​​​​​源表查询

四、​​​​​​​​​​​​​​指标计算

案例实践——淘宝母婴数据加速查询

随着“全面二孩”政策落地、居民可支配收入稳步增加等因素的刺激，中国的母婴消费市场正迎来黄金时代。与此同时，随着国民消费升级90后宝爸、宝妈人数剧增，消费需求与消费理念都发生了巨大的变化。据罗兰贝格最新公布的报告预计，已经经过了16个年头发展的母婴行业，到2020年，整体规模将达到3.6万亿元，2016-2020年复合增速高达17%,行业前景看起来一片光明。如此大好形势下，母婴人群在母婴消费上有什么特点？消费最高的项目是什么？

本场景将以阿里云实时计算Flink版为基础，使用Flink自带的 MySQL Connector连接RDS云数据库实例，并以一个淘宝母婴订单实时查询的例子尝试上手Connector的数据捕获、数据变更等功能。

本场景中订单和婴儿信息存储在MySQL中，对于订单表，为了方便进行分析，我们让它关联上其对应的婴儿信息，构成一张宽表。另一方面数据经过分组聚合后，计算出订单数量和婴儿出生的关系。

按步骤完成本次实验后，您将掌握的知识有：

  1. 使用Flink实时计算平台创建并提交作业的方法；
  2. 编写基于Flink Table API SQL语句的能力；
  3. 使用MySQL Connector对数据库进行读取的方法；

一、​​​​​​​​​​​​​​创建数据库表并导入数据

在这个例子中，我们将创建三张数据表，其中一张orders_dataset_tmp是导入数据的临时表，其他两张作为源表，体验淘宝母婴订单实时查询。

进入mysql管理平台DMS，单击数据库实例，在已登录实例中找到test数据库，并双击数据库。

在SQLConsole页签中，输入如下SQL建表语句，然后单击执行。

create table orders_dataset_tmp(user_id bigint comment '用户身份信息',			auction_id bigint comment '购买行为编号',		cat_id bigint comment '商品种类序列号',			cat1 bigint comment '商品序列号（根类别）',				property TEXT comment '商品属性',			buy_mount int comment '购买数量',			day TEXT comment '购买时间'				
);create table orders_dataset(order_id BIGINT NOT NULL AUTO_INCREMENT PRIMARY KEY comment '订单id',user_id bigint comment '用户身份信息',			auction_id bigint comment '购买行为编号',		cat_id bigint comment '商品种类序列号',			cat1 bigint comment '商品序列号（根类别）',				property TEXT comment '商品属性',			buy_mount int comment '购买数量',			day TEXT comment '购买时间'				
);--
create table baby_dataset(user_id bigint NOT NULL PRIMARY KEY,	birthday text comment '婴儿生日',gender int comment '0 denotes female, 1 denotes male, 2 denotes unknown'
);

在DMS数据管理平台，选择左侧的常用功能>数据导入。 

配置如下信息后单击提交申请，将 (sample)sam_tianchi_mum_baby_trade_history.csv 导入 orders_dataset_tmp 表。

点击提交申请后，等待审批完成，点击执行变更，返回如下结果，数据导入完成。

 

重复上述步骤，将(sample)sam_tianchi_mum_baby.csv 导入 baby_dataset 表。

导入完成之后，在SQLConsole页签中，输入如下SQL，然后单击执行，将订单数据导入到订单源表orders_dataset 中。

insert into orders_dataset(user_id,auction_id,cat_id,cat1,property,buy_mount,day)
select * from orders_dataset_tmp;

可以看到几张表中都有了数据。

SELECT * FROM `baby_dataset` ;

SELECT * FROM `orders_dataset` ;

查询表数据条数

SELECT count(1) FROM `baby_dataset` ;

二、​​​​​​​​​​​​​​创建session集群

使用之前的flink-sql-test-session集群即可。如若没有，安装下面步骤创建。

  • 登录实时计算控制台。
  • 在Flink全托管页签，单击目标工作空间名称对应应操作列下的控制台。
  • 在左侧导航栏，单击Session集群。
  • 单击创建Session集群。

表格中未提及的参数保持默认值即可，需要配置的参数说明请参见下表。

配置项

说明

配置示例

名称

Session集群名称。

flink-sql-test-session

状态

设置当前集群的期望运行状态：

  • STOPPED：当集群配置完成后保持停止状态，同样会停止所有在运行中的作业。
  • RUNNING：当集群配置完成后保持运行状态。

RUNNING

引擎版本

Session集群引擎版本号。

vvr-6.0.7-flink-1.15

Task Managers数量

默认与并行度保持一致。

4

  • 单击创建Session集群。

当Session集群状态（页面上方集群名称旁边）从启动中变为运行中后，可以进入后续步骤。

三、​​​​​​​​​​​​​​源表查询

  • 进入Flink开发平台，点击作业开发，在demo文件夹下创建monther-baby-test流作业草稿，版本选择vvr-6.0.7-flink-1.15。创建源表，代码如下
CREATE TABLE orders_dataset (order_id BIGINT,`user_id` bigint,			auction_id bigint,		cat_id bigint,			cat1 bigint,				property varchar,			buy_mount int,			`day` varchar	,PRIMARY KEY(order_id) NOT ENFORCED
) WITH ('connector' = 'mysql','hostname' = 'rm-cn-g4t3gzb9789789ca.rwlb.rds.aliyuncs.com','port' = '3306','username' = 'itlanson','password' = 'It123','database-name' = 'test','table-name' = 'orders_dataset'
);
CREATE TABLE baby_dataset (`user_id` bigint,birthday varchar,gender int,PRIMARY KEY(user_id) NOT ENFORCED
) WITH ('connector' = 'mysql','hostname' = 'rm-cn-g4t3gzb9789789ca.rwlb.rds.aliyuncs.com','port' = '3306','username' = 'itlanson','password' = 'It123','database-name' = 'test','table-name' = 'baby_dataset'
);

选中代码，点击左上角运行，完成表的创建。创建完之后，可以在元数据中的vvp.default下看到表。

  • 查询表数据
select * from baby_dataset;

选中代码，点击调试，提交到flink-sql-test-session集群。结果如下

 

select * from orders_dataset;

选中代码，点击调试，查询结果如下

  • 查询数据条数，代码如下
select count(1) from baby_dataset;

选择代码后，点击调试。

可以看到控制台的结果在不断增大，达到500会暂停。这是因为默认查询500条，此时需要点击左侧的绿色箭头，恢复查询。

最后结果如下，可以看到，与mysql中的对应表数据条数相同。

 

此时，在mysql中向baby_dataset表插入一条数据

insert into baby_dataset values (99999999,'20130101',1);

回到flink控制台，可以看到，计数结果也增加了。

点击红色按钮停止查询。然后查询刚才插入的数据。

SELECT * FROM `baby_dataset` 
where user_id=99999999;

此时，在mysql将此条数据的生日进行更改 

UPDATE baby_dataset SET birthday = '20140101' WHERE user_id = 99999999;

执行成功后，观察flink控制台的变化，发现数据也完成了更改。

 

四、​​​​​​​​​​​​​​指标计算

我们希望对原始数据按照 user_id 进行 JOIN，构成一张宽表。查询orders_dataset和baby_dataset表的关联结果，代码如下：

SELECT o.*,b.birthday,b.gender
FROM orders_dataset /*+ OPTIONS('server-id'='123450-123452') */ o
LEFT JOIN baby_dataset /*+ OPTIONS('server-id'='123453-123455') */ as bON o.user_id = b.user_id;

选中代码，点击调试，结果如下

接下来，我们希望对原始数据按照 user_id 进行 JOIN，构成一张宽表。然后对宽表数据的订单时间取到月份进行分组 GROUP BY，并统计每个分组中订单的购买数量SUM和出生婴儿的数量COUNT。代码如下

SELECT SUBSTRING(tmp1.`day` FROM 1 FOR 6) as year_mon,SUM(tmp1.buy_mount) as buy_num,COUNT(birthday) as baby_num
FROM(SELECT o.*,b.birthday,b.genderFROM orders_dataset /*+ OPTIONS('server-id'='123456-123457') */ oLEFT JOIN baby_dataset /*+ OPTIONS('server-id'='123458-123459') */ as bON o.user_id = b.user_id
) tmp1
GROUP BY SUBSTRING(tmp1.`day` FROM 1 FOR 6);

选中代码，点击调试，结果如下

 

  • 📢博客主页：https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
  • 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/54817.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Poetry进行python项目创建和管理

Poetry进行python项目创建和管理

Poetry 是一个用于依赖管理和打包的工具，它让创建和管理 Python 项目变得更加简单。以下是如何使用 Poetry 创建和管理 Python 项目的步骤。 安装 Poetry 首先，你需要安装 Poetry。你可以使用官方提供的安装脚本来安装 Poetry： curl -sSL …
阅读更多...
新建flask项目，配置入口文件，启动项目

新建flask项目，配置入口文件，启动项目

pycharm新建flask项目时，会提供一个创建flask项目的导向，自动设置虚拟环境，并且安装flask及其依赖而vscode新建flask项目时，需要手动设置虚拟环境并安装flask，需要在终端使用pip install flask命令来安装flask及其依赖…
阅读更多...
无人船在海洋勘探领域的应用！

无人船在海洋勘探领域的应用！

一、具体应用 海底地形测绘： 无人船可以搭载多波束测深仪等先进设备，进行高精度的海底地形测绘。这些设备能够生成详细的海底地形图，为海洋工程设计和施工提供详尽的水下地形资料。 海底资源勘探： 通过搭载磁力仪、重力仪等地…
阅读更多...
vue框架学习 -- 表单开发之页面自定义显示值

vue框架学习 -- 表单开发之页面自定义显示值

在 Vue 2.0 中，如果在使用 Element UI 的 组件，并希望自定义 中显示的 prop 属性的值（比如， memberName），有几种方法可以实现这一点。最直接的方法之一是在 Vue 组件的 data 函数或计算属性（com…
阅读更多...
HTML5实现唐朝服饰网站模板源码

HTML5实现唐朝服饰网站模板源码

文章目录 1.设计来源1.1 网站首页-界面效果1.2 唐装演变-界面效果1.3 唐装配色-界面效果1.4 唐装花纹-界面效果1.5 唐装文化-界面效果 2.效果和源码2.1 动态效果2.2 源代码 源码下载万套模板，程序开发，在线开发，在线沟通 作者：xcL…
阅读更多...
【Kubernetes】常见面试题汇总（四十一）

【Kubernetes】常见面试题汇总（四十一）

目录 94. iptables 四个表五个链。 95. Kubernetes 如何简化容器化部署？ 特别说明： 题目 1-68 属于【Kubernetes】的常规概念题，即 “ 汇总（一）~（二十二）” 。 题目 69-113 属于【Kuber…
阅读更多...
TikTok直播：选择TK直播盒子还是专线节点？

TikTok直播：选择TK直播盒子还是专线节点？

随着短视频平台的蓬勃发展，TikTok（抖音国际版）直播已成为主播和商家推广产品、增强与观众互动的重要手段。在这一过程中，选择合适的直播工具和技术方案显得尤为重要。对于希望在TikTok上取得成功的主播而言，使用TK直播…
阅读更多...
JSON 教程

JSON 教程

JSON 教程 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head> …
阅读更多...
UE虚幻引擎云渲染汽车动画的优势！

UE虚幻引擎云渲染汽车动画的优势！

在汽车广告和动画制作领域&#xff0c;虚幻引擎&#xff08;UE&#xff09;结合云渲染技术正掀起一场技术革命。这项技术以其高性能、成本效益和灵活性&#xff0c;为创作者提供了强大的工具&#xff0c;以实现更加逼真和高效的汽车动画制作。 一、为什么选择UE虚幻引擎制作汽车…
阅读更多...
学习笔记每日一题

学习笔记每日一题

给你一个整数 n &#xff0c;找出从 1 到 n 各个整数的 Fizz Buzz 表示&#xff0c;并用字符串数组 answer&#xff08;下标从 1 开始&#xff09;返回结果&#xff0c;其中&#xff1a; answer[i] "FizzBuzz" 如果 i 同时是 3 和 5 的倍数。answer[i] "Fizz…
阅读更多...
2024年厦门市大数据创新应用大赛圆满收官

2024年厦门市大数据创新应用大赛圆满收官

2024年厦门市大数据创新应用大赛圆满收官 2024年9月19日-20日&#xff0c;由厦门市数据管理局、厦门市公安局、厦门市生态环境局联合主办&#xff0c;厦门市信息中心承办的2024年厦门市大数据创新应用大赛圆满收官。 经专家评审团评审 最终决出获奖名单 决赛评审会现场 2024年…
阅读更多...
PMI-ACP®认证考试内容将于2025年第一期考试更新

PMI-ACP®认证考试内容将于2025年第一期考试更新

PMI敏捷管理专业人士&#xff08;PMI-ACP&#xff09;认证即将在2025年迎来引入中国大陆的十周年纪念。 十年时间&#xff0c;我们见证了敏捷实践方法普及和敏捷项目管理的“知行合一”&#xff0c;采用敏捷方法的中国企业团队比例的快速持续增长&#xff0c;中国PMI-ACP专业人…
阅读更多...
HarmonyOS 自定义 loading 效果

HarmonyOS 自定义 loading 效果

大致思路 主要利用 Progress 组件 利用aboutToAppear周期函数&#xff1a;在创建自定义组件的新实例后&#xff0c;在执行其build()函数之前执行 利用aboutToDisappear函数在自定义组件析构销毁之前执行&#xff0c;这里主要用来清除定时器 实现效果 组件封装 components/H…
阅读更多...
【pytorch】pytorch入门4：神经网络的卷积层

【pytorch】pytorch入门4：神经网络的卷积层

文章目录 前言一、定义概念 缩写二、性质三、代码总结参考文献 前言 使用 B站小土堆课程的笔记 一、定义概念 缩写 卷积层是神经网络中用于突出特征来进行分类任务的层。 二、性质 卷积核例子&#xff1a;vgg16 model 三、代码 添加库 python代码块import os import …
阅读更多...
大屏可视化px转rem方案实现

大屏可视化px转rem方案实现

该方案有点不会字体模糊&#xff0c;现实一比一扩张收缩。 参考&#xff1a;vue项目实现PC端各分辨率适配 - 李云蹊 - 博客园 (cnblogs.com) 注意该文章Vue项目使用webpack。 如果 如果 如果 你用的是Vuevite Vite Vite Vite需要修改 postcss.config.js 文件 import autopr…
阅读更多...
linux：chown用法详解

linux：chown用法详解

文章目录 1. 描述2. 语法3. 参数4. 例子 1. 描述 chown 是 Linux 中用于更改文件或目录的所有者和所有者组的命令。 2. 语法 chown [选项] 所有者[:组] 文件名详细用法&#xff1a; Usage: chown [OPTION]... [OWNER][:[GROUP]] FILE...or: chown [OPTION]... --reference…
阅读更多...
机器人顶刊IEEE T-RO发布无人机动态环境高效表征成果：基于粒子的动态环境连续占有地图

机器人顶刊IEEE T-RO发布无人机动态环境高效表征成果：基于粒子的动态环境连续占有地图

摘要&#xff1a;本研究有效提高了动态环境中障碍物建模的精度和效率。NOKOV度量动作捕捉系统助力评估动态占用地图在速度估计方面的性能。 近日&#xff0c;上海交通大学、荷兰代尔夫特理工研究团队在机器人顶刊IEEE T-RO上发表题为Continuous Occupancy Mapping in Dynamic …
阅读更多...
vue是如何优化

vue是如何优化

Vue的性能优化是一个涉及多个方面的综合过程&#xff0c;旨在提高Vue应用的运行效率和用户体验。以下是一些关键的Vue优化策略&#xff1a; 1. 代码层面的优化 a. 使用函数式组件 函数式组件相比普通组件没有状态&#xff08;没有响应式数据&#xff09;和实例&#xff08;没…
阅读更多...
『功能项目』鼠标悬停物品显示信息【77】

『功能项目』鼠标悬停物品显示信息【77】

本章项目成果展示 我们打开上一篇763D模型动态UI显示的项目&#xff0c; 本章要做的事情是鼠标悬停在道具身上显示对应信息 首先制作一个武器Image信息面板 重命名为WeaponUI01 设为隐藏 修改脚本&#xff1a;RightClickItem.cs 查看挂载脚本&#xff1a; 运行项目 - 当鼠标悬…
阅读更多...
多线程计算π

多线程计算π

1、实现单线程计算π 2、使用任务分解方法，使用2线程，并行计算π 3、使用数据分解方法，使用2线程，并行计算π 注意：在循环中使用以上计算π的公式，n取值为1到Int.Max 问题1： import java.lang.*;public class Thread1 extends Thread{@Overridepublic void run(){l…
阅读更多...
最新文章

Copyright @ 2022~2023