SparkSQL的执行过程:从源码角度解析逻辑计划、优化计划和物理计划

SparkSQL的执行过程可以分为以下几个阶段:从用户的SQL语句到最终生成的RDD执行,涵盖逻辑计划、优化计划和物理计划。以下是详细的源码角度解析:


1. 解析阶段(Parsing)

  • SQL语句解析:Spark 使用 Catalyst 引擎将用户输入的 SQL 语句解析为 抽象语法树(AST, Abstract Syntax Tree)
  • 代码位置org.apache.spark.sql.catalyst.parser.SqlBase.g4 定义了语法规则,SqlParser 使用 ANTLR 工具解析 SQL。
  • 输出结果:解析后的 LogicalPlan,表示 SQL 的初始逻辑计划。

2. 分析阶段(Analysis)

  • 任务:通过元数据和表的 Schema 校验逻辑计划中的字段、函数等,并为计划补充缺失信息。
  • 关键组件
    • Catalog:Spark 用 Catalog 管理表的元数据。
    • Analyzer:负责逻辑计划的语义分析。
    • 规则应用Analyzer 通过一系列规则(rules)完成字段校验、类型推断。
  • 代码位置
    • org.apache.spark.sql.catalyst.analysis.Analyzer
  • 输出结果:生成一个经过校验和补全的逻辑计划,称为 Analyzed Logical Plan

3. 逻辑优化阶段(Logical Optimization)

  • 任务:对逻辑计划进行规则化优化,比如谓词下推、列剪裁、常量折叠等。
  • 关键组件
    • Optimizer:基于规则的优化器,应用各种优化规则。
    • 典型优化规则
      • 谓词下推:将 Filter 操作下推到最靠近数据源的位置。
      • 列剪裁:只保留查询所需的列。
      • 常量折叠:将表达式中的常量计算提前。
  • 代码位置
    • org.apache.spark.sql.catalyst.optimizer.Optimizer
  • 输出结果:一个经过优化的逻辑计划,称为 Optimized Logical Plan

4. 物理计划生成阶段(Physical Planning)

  • 任务:将逻辑计划转化为物理计划,选择最优执行方案。
  • 关键组件
    • Planner:为逻辑操作选择物理操作的执行方式。
    • 成本模型:基于代价估算,选择最佳的物理计划。例如:选择 SortMergeJoinBroadcastHashJoin
  • 代码位置
    • org.apache.spark.sql.execution.SparkPlanner
    • org.apache.spark.sql.execution.strategy 包含了具体的物理计划生成策略。
  • 输出结果:多个候选的物理计划,最终选定一个最优计划作为 Physical Plan

5. 代码生成阶段(Code Generation)

  • 任务:对物理计划中的部分操作生成更高效的 Java 字节码(bytecode)。
  • 关键组件
    • WholeStageCodegen:SparkSQL 中的重要优化,能将多个操作结合为单一代码片段以减少任务调度的开销。
  • 代码位置
    • org.apache.spark.sql.execution.WholeStageCodegenExec
  • 输出结果:带有代码生成(Codegen)信息的物理计划。

6. RDD生成阶段(Execution Preparation)

  • 任务:将物理计划转化为低层次的 RDD 操作。
  • 关键组件
    • 每个 Exec 物理节点都会实现 doExecute 方法,负责生成对应的 RDD。
    • 示例:ScanExec 节点生成数据源的 RDD,ProjectExec 节点生成投影操作的 RDD。
  • 代码位置
    • 各种执行节点的实现位于 org.apache.spark.sql.execution 包中。
  • 输出结果:Spark 的执行引擎中直接运行的 RDD DAG。

7. 执行阶段(Execution)

  • 任务:提交作业并执行 RDD 转换。
  • 过程
    • DAG 构建:根据 RDD 依赖构建执行 DAG。
    • 任务调度:通过 TaskScheduler 提交任务到集群执行。
  • 代码位置
    • RDD 转换由 org.apache.spark.rdd.RDDcompute 方法完成。
    • 调度部分由 DAGSchedulerTaskScheduler 完成。

总结执行流程示意图

  1. 解析阶段

    SELECT name FROM students WHERE age > 18;
    

  2. 初始逻辑计划

    LogicalPlan(Filter(age > 18), Project(name))
    

  3. 分析计划

    LogicalPlan(Filter(students.age > 18), Project(students.name))
    

  4. 优化计划

    Filter(age > 18) -> Project(name)
    ↓
    Pushed Filters -> Optimized LogicalPlan
    
  5. 物理计划

    Scan Students RDD -> Apply Filters -> Project Columns
    
  6. RDD 生成

    studentsRDD.filter(age > 18).map(name => name)
    

通过以上步骤,SparkSQL 实现了从用户查询到集群执行的全过程,并通过 Catalyst 提供了高度灵活的优化和扩展能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/886864.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(Linux)搭建静态网站——基于http/https协议的静态网站

简单了解nginx配置文件 1.下载并开启nginx服务 下载 [rootlocalhost ~]# dnf install nginx -y开启 [rootlocalhost ~]# systemctl restart nginx 1.(1)搭建静态网站——基于http协议的静态网站 实验1:搭建一个web服务器,访问该服务器时显示“hello w…

【数据结构-表达式解析】力扣227. 基本计算器 II

给你一个字符串表达式 s ,请你实现一个基本计算器来计算并返回它的值。 整数除法仅保留整数部分。 你可以假设给定的表达式总是有效的。所有中间结果将在 [-231, 231 - 1] 的范围内。 注意:不允许使用任何将字符串作为数学表达式计算的内置函数&#…

「六」体验HarmonyOS端云一体化开发模板——本地真机运行应用

关于作者 白晓明 宁夏图尔科技有限公司董事长兼CEO、坚果派联合创始人 华为HDE、润和软件HiHope社区专家、鸿蒙KOL、仓颉KOL 华为开发者学堂/51CTO学堂/CSDN学堂认证讲师 开放原子开源基金会2023开源贡献之星 「目录」 「一」HarmonyOS端云一体化概要 「二」体验HarmonyOS端云一…

【Bug合集】——Java大小写引起传参失败,获取值为null的解决方案

阿华代码,不是逆风,就是我疯 你们的点赞收藏是我前进最大的动力!! 希望本文内容能够帮助到你!! 目录 一:本文面向的人群 二:错误场景引入 三:正确场景引入 四&#xf…

使用Kotlin写一个将字符串加密成short数组,然后可以解密还原成原始的字符串的功能

文章目录 一、运行效果1.1 单个字符串加解密1.2 多个字符串数组加解密二、源代码2.1 控制流图2.2 实现的源代码一、运行效果 1.1 单个字符串加解密 待加密的单个字符串: 测试字符串转化成short数组-----字节卷动 单个字符串加密后的数据: [19914, -21676, 31702, 23463, 2833…

云原生学习

1、云原生学习 文章目录 1、云原生学习1. 介绍2. Docker容器化 1. 介绍 什么是云原生?原生指使用JAVA等语言编写的项目,云是指将项目部署到云服务器上云平台:公有云、私有云 本地平台是指直接部署在自己计算机,而开发的应用一定要…

Python | 日志logging模块最基础的应用

之前总结过关于在项目中使用logging模块的好处,时间过去三四个月,结果从新遇到这个东西,又想不起它的基础用法,翻看过去文章发现还是有些进阶的,特此,写一篇最基础的应用来结束对logging的认识 过去两篇文…

Redis模拟延时队列 实现日程提醒

使用Redis模拟延时队列 实际上通过MQ实现延时队列更加方便,只是在实际业务中种种原因导致最终选择使用redis作为该业务实现的中间件,顺便记录一下。 该业务是用于日程短信提醒,用户添加日程后,就会被放入redis队列中等待被执行发…

【第4章 | 分类与逻辑回归】(python机器学习)

一、逻辑回归 1.1逻辑回归 二项逻辑回归 • Binomial logistic regression model是一种分类模型 • 由条件概率P(Y|X)表示的分类模型 • 形式化为logistic distribution • X取实数,Y取值1,0 特点: • 事件的几率odds:事件发生与事件不发生…

VSCode+ESP-IDF开发ESP32-S3-DevKitC-1(1)开发环境搭建

VSCodeESP-IDF开发ESP32-S3-DevKitC-1(1)开发环境搭建 1.开发环境搭建(安装ESP-IDF)2.开发环境搭建(安装VS Code)3.开发环境搭建(VSCode中安装ESP-IDF插件及配置) 1.开发环境搭建&am…

RAID存储技术 详解

RAID(Redundant Array of Independent Disks,独立磁盘冗余阵列)是一种将多个物理硬盘组合为一个逻辑存储单元的技术。它通过分布数据、冗余校验和容错能力,提高存储系统的性能、可靠性和容量利用率。 以下从底层原理和源代码层面…

Makefile 之 自动生成依赖性

在Makefile中的依赖关系可能会需要包含一系列的头文件,比如, 如果的main.c中有一句"#include defs.h",那么的依赖关系应该是: main.o : main.c defs.h 但是,如果是一个比较大型的工程,必需清…

深入理解TTY体系:设备节点与驱动程序框架详解

往期内容 本专栏往期内容:Uart子系统 UART串口硬件介绍 interrupt子系统专栏: 专栏地址:interrupt子系统Linux 链式与层级中断控制器讲解:原理与驱动开发 – 末片,有专栏内容观看顺序 pinctrl和gpio子系统专栏&#xf…

Qt如何屏蔽工具栏(QToolBar)自动折叠功能

最近发现Qt上工具栏一行放不下的时候,会自动折叠起来。当用户点击展开功能的小三角按钮时,工具栏会展开成多行。这个功能本身没什么问题,但是当工具栏展开的时候,鼠标光标一旦不小心移动到了工具栏外面,这时候&#xf…

【大语言模型】ACL2024论文-17 VIDEO-CSR:面向视觉-语言模型的复杂视频摘要创建

【大语言模型】ACL2024论文-17 VIDEO-CSR:面向视觉-语言模型的复杂视频摘要创建 VIDEO-CSR:面向视觉-语言模型的复杂视频摘要创建 目录 文章目录 【大语言模型】ACL2024论文-17 VIDEO-CSR:面向视觉-语言模型的复杂视频摘要创建目录摘要研究…

华为openEuler考试真题演练(附答案)

【单选题】 以下关于互联网的描述,哪个选项是正确的? A:Nginx 在万维网中可以作为 ftp 服务器的反向代理,并与ftp服务器的数量--对应 B:Nginx 在互联网中可以作为 web服务器端,成为万维网的一个节点 C:互联网上的的资源需使用 Nginx进行七层…

web网络安全系统

最近了解了基于web的网络安全系统的设计与实现项目,在这个平台记录一下这个基于web的网络安全系统的设计与实现项目,方便以后再次使用或学习的时候能够及时的翻阅。在完成基于web的网络安全系统的设计与实现项目的时候,考虑了很多框架。最终决…

03 —— Webpack 自动生成 html 文件

HtmlWebpackPlugin | webpack 中文文档 | webpack中文文档 | webpack中文网 安装 npm install --save-dev html-webpack-plugin 下载html-webpack-plugin本地软件包 npm i html-webpack-plugin --save-dev 配置webpack.config.js让webpack拥有插件功能 const HtmlWebpack…

传奇996_32——npc及怪物顶戴花翎

离线文档直接搜:顶戴花翎功能、NPC顶戴花翎配置 一共两步: 添加顶戴动态特效\Mir200\Envir\NpcIcons**\xx.txt 写对应文件,没有文件或问文件夹自己新建, **是npclist.xlsx中配置的npc路径地图名xx是npc名称 举例: 9…

Jmeter进阶篇(27)压测时如何计算最合适的并发量

Jmeter性能测试大全:Jmeter性能测试大全系列教程❤,如果觉得我讲的还不错,欢迎订阅哦~ 📚如何确定 JMeter 压测中的并发量 在进行性能测试时,确定合适的并发量是非常非常重要的一步。并发量决定了模拟用户的数量,她会直接影响到测试结果的有效性和可靠性。 在实际做性…