数仓SQL如何做code review？

第一步应该是先明确需求，明确完需求以后在进行开发，接着code review

在明确HiveSQL、SparkSQL的编写需求后，接下来将详细介绍代码审查（Code Review）时的一些关键注意点：

1. 关联关系

left join 和 join

在进行表关联时，需判断是使用外连接（outer join）还是内连接（join），这主要取决于是否需要包含那些在原表中存在但在关联表中没有匹配项的记录。

场景：我们有两个表，一个是用户订单表（orders），一个是用户信息表（users）。我们想要查询所有订单及其对应的用户信息，包括那些没有用户信息的订单。

外连接（outer join）：如果我们想要包含那些在原表（orders）中存在但在关联表（users）中没有匹配项的记录，我们应该使用左外连接（LEFT OUTER JOIN）。

SELECT * FROM orders o LEFT OUTER JOIN users u ON o.user_id = u.id;

这样，即使某个订单没有对应的用户信息，它也会出现在结果集中，但用户信息相关字段将为NULL。

内连接（join）：如果我们只关心那些既有订单又有用户信息的记录，我们应该使用内连接（INNER JOIN）。

SELECT * FROM orders o JOIN users u ON o.user_id = u.id;

这样，只有那些在两个表中都有匹配项的记录才会出现在结果集中。

关联条件是否匹配

检查关联条件（on子句）中，两边的数据类型是否匹配，以避免类型不匹配导致的数据错误。

场景：我们有两个表，一个是商品表（products），包含商品ID（product_id，整数类型）和商品价格（price），另一个是订单明细表（order_details），包含商品ID（product_id，字符串类型）和购买数量（quantity）。

  • 数据类型不匹配：如果直接关联这两个表，可能会因为数据类型不匹配而导致错误或不正确的结果。

– 假设products.product_id是INT类型，而order_details.product_id是VARCHAR类型

SELECT * FROM products p JOIN order_details od ON p.product_id = od.product_id; 
-- 可能导致错误
    • 为避免这种情况，需要确保关联条件中两边的数据类型一致，或者在关联时进行显式类型转换。

关联是否发散

  • 当关联关系为一对一时，必须验证两个表的关联键是否具有唯一性。如果不唯一，关联操作可能会产生笛卡尔积，从而导致数据膨胀。

  • 场景：我们有两个表，员工表（employees）和部门表（departments），想要通过部门ID（department_id）关联这两个表，以查询每个员工所属的部门名称。

关联键不唯一：如果departments表中的department_id不是唯一的，那么与employees表关联时可能会产生笛卡尔积，导致数据膨胀。

-- 假设departments.department_id不是唯一的  
SELECT * FROM employees e 
JOIN departments d 
ON e.department_id = d.department_id; -- 可能产生笛卡尔积
    • 为避免这种情况，需要确保关联键在两个表中都是唯一的。

2. 过滤条件

  • 验证WHERE子句中的过滤条件是否正确。

and 与 or

场景：我们有一个订单表（orders），包含订单状态（status）和订单金额（amount）。我们想要查询状态为“已完成”（status=‘completed’）且金额大于100的订单。

过滤条件不正确：如果WHERE子句的过滤条件设置不正确，可能会导致查询结果不符合预期。

-- 假设我们想要查询状态为“已完成”且金额大于100的订单  
SELECT * FROM orders WHERE status = 'completed' OR amount > 100; 
-- 这里的OR应该是AND

上述查询中使用了OR而不是AND，导致查询结果包含了所有状态为“已完成”的订单以及所有金额大于100的订单，而不是同时满足这两个条件的订单。为了得到正确的结果，应该将OR改为AND。

not in

当使用 NOT IN 子句时，需要注意的是，如果子查询中的列包含 NULL 值，那么整个 NOT IN 条件可能不会按预期工作，因为 NULL 与任何值的比较都会返回 NULL，而不是 TRUE 或 FALSE。这可能导致查询结果中排除了一些本应包含的记录。

下面举两个例子来说明这个问题：

**例子 1：子查询中没有 NULL 值

假设我们有两个表：orders（订单表）和 cancelled_orders（已取消订单表）。我们想要查询所有未取消的订单。

SELECT order_id FROM orders WHERE order_id NOT IN (SELECT order_id FROM cancelled_orders);

如果 cancelled_orders 表中没有 NULL 值，这个查询将正常工作，返回所有未在 cancelled_orders 表中出现的 order_id。

例子 2：子查询中包含 NULL 值

现在，假设 cancelled_orders 表中有一个 order_id 为 NULL 的记录。如果我们再次运行上面的查询，结果可能不是我们所期望的。

SELECT order_id FROM orders 
WHERE order_id NOT IN (SELECT order_id FROM cancelled_orders);

在这个情况下，如果 cancelled_orders 表中有一个或多个 order_id 为 NULL，那么整个 NOT IN 子句可能会返回空集，因为任何值与 NULL 的比较都会返回 NULL，导致 NOT IN 条件不成立。

为了解决这个问题，可以在子查询中排除 NULL 值，或者改用其他方法，如 NOT EXISTS 或 LEFT JOIN。

SELECT order_id FROM orders o 
WHERE NOT EXISTS ( SELECT 1 FROM cancelled_orders co WHERE co.order_id = o.order_id );

或者使用 LEFT JOIN：

SELECT o.order_id FROM orders o LEFT JOIN cancelled_orders co ON o.order_id = co.order_id WHERE co.order_id IS NULL;

不过我经常用的方式是

SELECT column_name FROM table_name WHERE column_name NOT IN ( SELECT COALESCE(nullable_column, 'some_default_value') FROM another_table );

COALESCE 函数返回其参数列表中的第一个非 NULL 值。在处理 NOT IN 子句时，如果担心子查询可能返回 NULL 值，可以使用 COALESCE 来确保 NULL 被替换为一个不会与实际数据冲突的默认值。

3. 指标的统计口径处理

在统计数据指标时，需要明确两个基本概念：

  • 可累加指标，如支付金额、浏览量等，这些指标可以通过简单的数值相加来统计。在SQL中，通常使用SUM函数来处理这类指标。

  • 不可累加指标，如访客数，这类指标不能通过简单相加来统计，而需要先进行去重处理，然后再求和。在SQL中，这类指标通常使用COUNT(DISTINCT)函数来统计。

可累加指标的例子

  1. 支付金额

假设我们有一个订单表（orders），其中包含每笔订单的支付金额（payment_amount）。要统计总支付金额，我们可以使用SUM函数：

SELECT SUM(payment_amount) AS total_payment_amount FROM orders;
  1. 浏览量

如果我们有一个页面浏览记录表（page_views），其中包含每次页面浏览的记录，我们可以统计总浏览量如下：

SELECT SUM(views) AS total_views FROM page_views;

或者，如果每条记录代表一次浏览，我们可以这样统计：

SELECT COUNT(*) AS total_views FROM page_views;

不可累加指标的例子

  1. 访客数

假设我们有一个用户访问记录表（user_visits），其中包含用户的访问信息，包括用户ID（user_id）和访问时间（visit_time）。由于同一个用户可能在一天内多次访问，因此我们需要先对用户ID进行去重，然后再统计唯一的访客数量：

SELECT COUNT(DISTINCT user_id) AS unique_visitors FROM user_visits;
  1. 独立IP数

如果我们想要统计访问网站的独立IP数量，这也是一个不可累加的指标。假设我们有一个记录每个访问请求的IP地址的表（access_logs），我们可以这样统计：

SELECT COUNT(DISTINCT ip_address) AS unique_ips FROM access_logs;

在处理不可累加指标时，使用COUNT(DISTINCT column_name)是确保每个项只被计数一次的关键。这种方法在数据库查询中非常有用，特别是当需要准确统计唯一实体（如唯一用户、唯一IP等）的数量时。

4. insert插入数据

这个出现在hivesql、sparksql中

  • 是否支持重跑。等价于看插入时是否有overwrite关键字，如果没有该关键字，重跑数据（多次执行该工作流）时不会覆盖脏数据，而是增量往表插入数据，进而可能会导致最终数据统计翻倍。

这个主要出现在hivesql中

  • 插入的数据顺序和被插入表结构顺序是否完全一致。我们要保证数据字段写入顺序没有出错，否则会导致插入值错乱。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/24428.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AI魔法相机：实时3D重建与场景魔法化

AI魔法相机：实时3D重建与场景魔法化

一、产品概述 AI魔法相机是一款创新的硬件产品，它结合了AI技术和3D重建扫描技术，能够实时捕捉并重建3D场景和物理世界。用户只需通过简单的点击操作，即可捕捉现实物体或环境，并将其无缝融合到任何场景中，创造出全新的想象现实。 二、核心功能 实时捕捉：一键式操作，迅速…
阅读更多...
用例与用例之间的三种关系：泛化、包含、扩展

用例与用例之间的三种关系：泛化、包含、扩展

UML用例图（Use Case Diagrame)，是UML图的一种，主要用来描述角色及角色与用例之间的连接关系。 1.泛化 当多个用例共有一种类似的结构和行为时。能够将他们的共性抽象成为父用例，其它的用例作为泛化关系的子用例。箭头指向父用例…
阅读更多...
优先队列的实现：基于最小堆的 Java 实现

优先队列的实现：基于最小堆的 Java 实现

优先队列是一种重要的数据结构，与普通队列不同，它每次从队列中取出的是具有最高优先级的元素。本文将介绍如何使用最小堆来实现优先队列，并提供详细的 Java 代码示例和解释。 什么是优先队列？ 优先队列是一种抽象数据类型&#…
阅读更多...
使用Aspose技术将Excel/Word转换为PDF

使用Aspose技术将Excel/Word转换为PDF

简介：本文将介绍如何使用Aspose技术将Excel文件转换为PDF格式。我们将使用Aspose-Cells-8.5.2.jar包，并演示Java代码以及进行测试。 一、Aspose技术概述 Aspose是一款强大的文档处理库，支持多种编程语言，如Java、C#、Python等。…
阅读更多...
关于 spring boot 的 目录详解 和 配置文件 以及 日志

关于 spring boot 的 目录详解 和 配置文件 以及 日志

目录 配置文件 spring boot 的配置文件有两种格式，分别是 properties 和 yml（yaml）。这两种格式的配置文件是可以同时存在的，此时会以 properties 的文件为主，但一般都是使用同一种格式的。 格式 properties 语法格…
阅读更多...
小程序中用于跳转页面的5个api是什么？区别

小程序中用于跳转页面的5个api是什么？区别

小程序中用于跳转页面的5个API及其区别如下： wx.navigateTo(options) 功能：保留当前页面，跳转到应用内的某个页面，使用wx.navigateBack可以返回到原页面。特性：可以打开新的页面，新页面可以是tabBar页面&a…
阅读更多...
【Python】selenium 点击某个按钮 click() 出现的报错问题--ElementClickInterceptedException（全！）

【Python】selenium 点击某个按钮 click() 出现的报错问题--ElementClickInterceptedException（全！）

写在前面： 我们在使用selenium 点击某个元素时或者获取find_element的某个网页元素时，总会遇到一些问题。本人经验是，最直接的方法是用try_except 报错，直接绕过问题，可以直接看第一条。如果有兴趣具体解决&#xff0c…
阅读更多...
[Algorithm][动态规划][01背包问题][模板 背包][分割等和子集]详细讲解 +何为背包问题?

[Algorithm][动态规划][01背包问题][模板 背包][分割等和子集]详细讲解 +何为背包问题?

目录 0.何为背包问题？1.模板 背包1.题目链接2.算法原理详解3.代码实现 2.分割等和子集1.题目链接2.算法原理详解3.代码实现 0.何为背包问题？ 背包问题：有限制条件下的"组合问题" 你有一个背包，地上有一堆物品&#xff…
阅读更多...
ASP .NET Core 中的 Autofac 依赖注入

ASP .NET Core 中的 Autofac 依赖注入

介绍 Autofac 是适用于 .NET 应用程序（包括 ASP.NET Core）的流行依赖注入 (DI) 容器。Autofac 等 DI 容器通过提供注册和解析依赖关系的方法来帮助管理应用程序不同组件之间的依赖关系。 为什么需要Autofac，它能实现什么？ 控制…
阅读更多...
交错数组知识点

交错数组知识点

基本概念 交错数组是数组的数组，每个维度的数量可以不同。 注意：二维数组的每行的列数相同，交错数组每行的列数可能不同。 数组的申明 //变量类型[][] 交错数组名; int[][] arr1;//变量类型[][] 交错数组名 new 变量类型[行数][]; int[][…
阅读更多...
四十三、openlayers官网示例Freehand Drawing解析——在地图上自由绘制图形

四十三、openlayers官网示例Freehand Drawing解析——在地图上自由绘制图形

想要在地图上绘制自由图形，只需要在new Draw的时候多加一个配置项就行。 function addInteraction() {const value typeSelect.value;if (value ! "None") {draw new Draw({source: source,type: typeSelect.value,freehand: true, //是否自由绘制});ma…
阅读更多...
在当前页面拿到抽屉弹窗页面中从后端返回的值 #Vue3 #两个.vue页面之间传值问题

在当前页面拿到抽屉弹窗页面中从后端返回的值 #Vue3 #两个.vue页面之间传值问题

在当前页面拿到抽屉弹窗页面中从后端返回的值 #Vue3 #两个.vue页面之间传值问题 *解决方法一： 将抽屉弹窗里从后端返回得到的值缓存在浏览器中，在当前页面中从浏览器中获取该值。 （原理其实就是借助第三个盒子来传递一下值，太小学…
阅读更多...
HIK录像机GB28181对接相机不在线问题随笔

HIK录像机GB28181对接相机不在线问题随笔

一、问题现象 【设备信息】型号：DS-8664N-I16-V3 V4.63.000 build 230412 【问题现象】HIK录像机使用GB28181对接异常相机无法正常上线，对接HIK相机可以正常上线。 【现场拓扑】现场拓扑如下 NVR侧使用固定公网IP地址。IPC侧使用家用宽带的方式&…
阅读更多...
第R3周：天气预测

第R3周：天气预测

🍨 本文为🔗365天深度学习训练营中的学习记录博客 🍖 原作者：K同学啊 | 接辅导、项目定制 🚀 文章来源：K同学的学习圈子 目录 我的环境 语言环境：python3.8.18编译器：jupyter not…
阅读更多...
pikachu靶场（File Inclusion(文件包含)通关教程）

pikachu靶场（File Inclusion(文件包含)通关教程）

1.File Inclusion(local)本地文件包含 1.1打开网站，发现有个下拉框，随便选择一个，然后点击提交 1.2发现图中有个参数变了，其他的也会变，猜测这里可能有其他隐藏的文件 1.3直接进行抓包 ，右键发送到爆破模…
阅读更多...
LeetCode | 1470.重新排列数组

LeetCode | 1470.重新排列数组

class Solution(object):def shuffle(self, nums, n):""":type nums: List[int]:type n: int:rtype: List[int]"""result []for i in range(n):result.append(nums[i])result.append(nums[i n])return result这题很容易想到的就是遍历整个数组…
阅读更多...
拼多多第37期：拼多多单品裂变起爆2.0（17节课）

拼多多第37期：拼多多单品裂变起爆2.0（17节课）

课程下载：拼多多第37期：拼多多单品裂变起爆2.0（17节课）-课程网盘链接提取码下载.txt资源-CSDN文库 更多资源下载：关注我。 课程内容： 01.《拼多多单品裂变起爆2.0》非标品类成功操作案例.mp4 02.《拼多…
阅读更多...
【Python爬虫单点登录实战】PyExecJS破解慧职教:过河源技术学院单点登录统一身份认证

【Python爬虫单点登录实战】PyExecJS破解慧职教:过河源技术学院单点登录统一身份认证

目录 前言大致分析PyExecJS 使用案例pip 安装:Demo:输出:案例1.访问目标网站的登录页面并查看源码2.将js放到和py脚本同一级目录下3. 编写Python脚本来调用js破解单点登录实战提取密钥参数清洗数据登陆测试单点登录获取ticket获取jsessionid获取token成功我的专栏前言 博主提供…
阅读更多...
小程序中 使用 UDPSocke通讯的流程

小程序中 使用 UDPSocke通讯的流程

小程序使用UDPSocket与设备通讯的步骤可以归纳如下： 创建UDPSocket实例： 使用wx.createUDPSocket()方法创建一个UDP Socket实例。 绑定端口： 调用UDPSocket.bind(number port)方法，绑定一个系统随机分配的可用端口，或…
阅读更多...
java 子网掩码和IP计算起始IP和终止IP工具类

java 子网掩码和IP计算起始IP和终止IP工具类

java 子网掩码和IP计算起始IP和终止IP工具类 1.根据掩码位数获取掩码 2.根据ip地址和掩码获取起始IP 3.根据ip地址和掩码获取终止IP 4.ip转换Long 5.实际可用ip数量 public class NetAddressUtils {/*** 根据掩码位数获取掩码*/public static String getNetMask(String ma…
阅读更多...
最新文章

Copyright @ 2022~2023