跟着chatgpt学习|1.spark入门

首先先让chatgpt帮我规划学习路径,使用Markdown格式返回,并转成思维导图的形式

目录

目录

1. 了解spark

1.1 Spark的概念

1.2 Spark的架构

1.3 Spark的基本功能

2.spark中的数据抽象和操作方式

    2.1.RDD(弹性分布式数据集)

    2.2 DataFrame

    2.3 DataSet



1. 了解spark

1.1 Spark的概念

  • 弹性分布式数据集(RDD)

    是Spark的核心抽象,代表分布式内存中的不可变的对象集合。RDD可以跨多个节点并行操作,是Spark实现高性能的基础。
  • DataFrame和DataSet

    Spark提供了结构化数据处理的API,可以使用DataFrame和DataSet进行高效的数据操作和分析。
  • Spark SQL

    用于处理结构化数据的模块,提供了SQL查询和数据集操作的API。
  • Spark Streaming

    用于实时数据处理和流式计算的模块,能够对数据流进行实时处理和分析。
  • Spark MLlib        

        是Spark提供的机器学习库,包含了常见的机器学习算法和工具,用于数据挖掘和模型训练。

  • Spark GraphX

    用于图计算和图分析的模块,提供了图处理和图算法的API。

1.2 Spark的架构

  • Cluster Manager(集群管理器)

    集群管理器负责在集群中启动和管理Spark应用程序的执行。常见的集群管理器包括Hadoop YARN、Apache Mesos和Kubernetes。为Spark应用程序分配Executor的资源,并监控各个Executor的状态
  • Driver(驱动器)

    驱动器是Spark应用程序的主要控制节点,运行用户编写的Spark应用程序的main函数。驱动器负责解析用户程序,将任务分配给各个Executor,并协调各个组件之间的交互。驱动器负责创建和维护SparkContext对象,SparkContext是与Spark集群进行交互的主要入口点
  • Executor(执行器)

    执行器是运行在集群节点上的工作进程,负责执行具体的任务。每个应用程序都有自己的一组执行器,它们在启动时由集群管理器分配。执行器负责执行驱动器分配给它们的任务,并将计算结果返回给驱动器。执行器还负责将数据存储在内存中,并提供对数据的读写能力。在执行器中,每个任务都会被分配到一个线程上执行,可以并行执行多个任务。

三者的关系如下:

  • driver和executor是通过cluster manager进行通信的,cluster manager负责将driver和executor连接起来,并协调它们之间的任务调度和资源分配。
  • driver通过SparkContext对象与cluster manager通信,并将任务分发给executor执行。driver还负责监控和处理executor的状态和计算结果。
  • executor接收来自driver的任务,并在本地执行。executor将计算结果返回给driver,并及时向driver汇报任务的状态。
     

总结起来,Cluster Manager负责资源的分配和任务调度,Driver负责解析用户程序并协调任务的执行,而Executor负责实际执行任务并返回计算结果。它们三者一起协作,实现了Spark应用程序的分布式计算。

1.3 Spark的基本功能

  1. 分布式数据处理

    Spark可以处理大规模数据集,并支持在分布式环境中进行并行计算。它通过将数据加载到内存中并在集群中进行分布式计算,提供高性能的数据处理能力。
  2. 数据抽象和操作

    Spark提供了弹性分布式数据集(RDD)的抽象,可以以类似于本地集合的方式对数据进行处理。Spark的API支持各种数据操作,如映射、过滤、聚合和排序等。
  3. 批处理和交互式查询

    Spark提供了Spark SQL模块,支持使用SQL语言进行数据查询和操作。它可以处理结构化数据,并提供了高级API(如DataFrame和DataSet),使得批处理和交互式查询更加方便和高效。
  4. 流处理和实时分析

    Spark Streaming模块使得实时数据处理和流式分析成为可能。它支持将连续数据流以微批处理的方式进行处理,并提供了窗口操作、状态管理和实时计算等功能。
  5. 机器学习和数据挖掘

    Spark提供了Spark MLlib机器学习库,包含了常见的机器学习算法和工具。它支持分类、回归、聚类、推荐等机器学习任务,并提供了特征处理、模型评估和模型调优等功能。
  6. 图计算和图分析

    Spark GraphX模块提供了图处理和图算法的功能。它支持构建和处理大规模图数据,并提供了图遍历、图算法和图分析等功能。
  7. 分布式文件系统和数据源支持

    Spark支持多种分布式文件系统和数据源,如Hadoop HDFS、Amazon S3、Apache Cassandra等。这使得Spark可以方便地与各种数据存储和数据处理平台集成。

2.spark中的数据抽象和操作方式


    2.1.RDD(弹性分布式数据集)

  • 分布式内存中不可变对象集合
  • 分区的数据集,可以跨节点并行操作
  •  特性 
    • 容错性
    • 不可变性
      • 对RDD进行转换操作会生成一个新的RDD
    • 可分区性
      • 根据数据的键或哈希值进行分区,以便在集群中进行并行处理
    • 可持久化
      • 可以将数据存储在内存中,以便进行高速计算


    2.2 DataFrame

  • Spark SQL中的数据抽象
  • 是具有命名列和逻辑模式的分布式数据集
  • 特性
    • 结构化数据
    • 优化执行
      • 使用Spark的优化器,将查询转为更高效的物理执行计划
    • 支持SQL查询


    2.3 DataSet

  • Spark1.6后引入的数据抽象,是DataFrame的扩展
  • 提供类型安全的分布式数据集
  • 特性
    • 类型安全
      支持编译时类型检查
    • 面向对象
      可以使用面向对象的方式进行数据操作,同时也支持SQL查询
    • 高性能
      可以和DataFrame共享相同的执行计划和优化器,提供高性能的数据处理能力

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/173433.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

9:kotlin 返回和跳过(Returns and jumps)

kotlin有三种结构跳转表达式: return会从最近的封闭函数或匿名函数返回。 break终止最近的封闭循环。 continue继续最近的封闭循环的下一步。 所有这些表达式都可以作为其他表达式的一本分使用 val s person.name ?: returnval s person.name ?: return 这…

SpringBoot yml配置文件打印值

目录 SpringBoot中配置文件打印值 yml配置 config类 启动类 测试类 注解分析 SpringBoot中配置文件打印值 yml配置 student:red: douconfig类 Data ConfigurationProperties(prefix "student") // 文件上传 配置前缀file.oss public class MinIOConfigProp…

Callable、Future和FutrueTask详解

一、Callable介绍 1.1 Runnable介绍 Runnable是一个接口,里面声明了run方法。但是由于run方法返回值类型为void,所以在执行完成任务后,无法返回任何结果。 FunctionalInterface public interface Runnable {public abstract void run(); }…

仅2万粉,带了2.6万件的货!TikTok Shop美区达人周榜(11.13-11.19)

11月24日,TikTok Shop近日公布了美国市场和英国市场的全托管黑五大促战绩。数据显示,11月14日至11月20日,其美国市场的订单量环比10月20日-10月26日增长了205%。 家居户外热销品有:数码触摸屏相框、毛绒地毯、家居毛毯。黑马商品…

关于微信小程序中如何实现数据可视化-echarts动态渲染

移动端设备中,难免会涉及到数据的可视化展示、数据统计等等,本篇主要讲解原生微信小程序中嵌入echarts并进行动态渲染,实现数据可视化功能。 基础使用 首先在GitHub上下载echarts包 地址:https://github.com/ecomfe/echarts-for…

SD-WAN和混合WAN两种网络方案的差异

传统的WAN是指基于传输控制协议/因特网协议(TCP/IP)的私有广域网(WAN),它由企业网络和ISP组成,用于连接分布在不同地理位置的多个站点。使用传统WAN时,企业需要租用电路,使用专用线路…

机器学习-线性模型·

线性模型是一类用于建模输入特征与输出之间线性关系的统计模型。这类模型的基本形式可以表示为: 其中: 是模型的输出(目标变量)。 是截距(常数项,表示在所有输入特征都为零时的输出值)。 是权重…

2311skia,08解码区域

解码区域 1,抽象 1,图片很大时,解码速度缓慢,占用内存很高,并且,图片超过一定尺寸时,无法上传和显示纹理(这跟GPU能力有关,一般的GPU是8192*8192).这时只好下采样,但会牺牲图片显示质量. 2,-对图库等,需要清晰浏览图片的应用,不可能设置下采样率来解决这一问题,因此,Google加…

The Matrix format of Least Square Method (LMS)

I. Cost function For the cost function J ∑ i 1 n ∣ ∣ y i − x i T θ ∣ ∣ 2 (1) J \sum_{i1}^n || y_i - x_i^T \theta ||^2 \tag{1} Ji1∑n​∣∣yi​−xiT​θ∣∣2(1) where θ ( m 1 ) \theta (m\times 1) θ(m1) is the unknow parameters, x i T ( 1 m…

基于官方YOLOv4-u5【yolov5风格实现】开发构建目标检测模型超详细实战教程【以自建缺陷检测数据集为例】

本文是关于基于YOLOv4开发构建目标检测模型的超详细实战教程,超详细实战教程相关的博文在前文有相应的系列,感兴趣的话可以自行移步阅读即可: 《基于yolov7开发实践实例分割模型超详细教程》《YOLOv7基于自己的数据集从零构建模型完整训练、推理计算超详细教程》《DETR (DE…

内衣洗衣机怎么选?内衣洗衣机便宜好用的牌子推荐

相信不少用户并不太在意衣服和内衣裤裤能不能同时洗,每次清洗都是把内衣裤与其他衣服一起放入洗衣机清洗,其实内衣裤不能直接跟大件的衣物一起放入洗衣机洗的,很容易会造成我们皮肤的瘙痒,我们大部分时间都在户外,暴露…

python 基于opencv和face_recognition的人脸识别

python 基于opencv和face_recognition的人脸识别 代码如下: 使用一个photos存放你需要识别的照片,注意一个人一张就行 然后通过下面代码注册用户,之后启动程序,就会调用摄像头进行识别了。 AddPhoto(“发哥”, “./photos/fag…

Java实现集合和Excel文件相互转换

目录 一、集合转化为Excel文件二、Excel文件转化为集合 一、集合转化为Excel文件 效果如下,是将集合转化为Excel文件,Excel包含合并单元格。 实体类: Data public class ClassGrade {/** 年级 */private String grade;/** 班主任 */privat…

纯新手发布鸿蒙的第一个java应用

第一个java开发鸿蒙应用 1.下载和安装华为自己的app开发软件DevEco Studio HUAWEI DevEco Studio和SDK下载和升级 | HarmonyOS开发者 2.打开IDE新建工程(当前用的IDEA 3.1.1 Release) 选择第一个,其他的默认只能用(API9)版本,…

ConcurrentHashMap的数据结构+以及各个版本之间的区别

ConcurrentHashMap 1.7与1.8的区别 1、锁结构不同 2、put的流程不同 3、size的计算方式不同(1.8使用的使用basecell[]计算,有点类似于LongAdder,1.7使用三级通缉判断是否一样,不一样通过分段式加锁再求和) 4、数据结构不同,1.6 Re…

tauri中使用rust调用动态链接库例子(使用libloading库和libc库)

前言 当前采用桌面端框架位tauri,现在需要调用读卡器等硬件设备,硬件厂商提供了32位的动态链接库,现在记录例子,需要注意的点是使用libloading库和libc库, [package] name "yyt-device-rust" version &q…

企业数据建设再思考

近些年企业数据建设进入深水区,近六成受访企业高管表示在未来一到两年会增加数据建设的投入。 数据建设得分最明显的三项指标分别为:开拓数据变现模式、实现数据流与业务流程在各部门间的无缝衔接、搭建基于数据分析的决策体系与管控体系。 因此&#…

文件太大彻底删除怎么找回?速来get这3个有效方法!

“我的电脑里保存了一些很大的文件,由于太占内存了,我就将它们删除掉了,但是我发现有些比较重要的文件也一起被删除了。这可怎么办呢?有什么方法可以找回这些删除文件吗?” 在日常使用电脑的过程中,可能很多…

角色管理--专利软著产品负责人岗

研发组织管理--角色管理--专利软著产品负责人岗 定位 知识产权的站岗人,牵头推动软著落地及专利沉淀 所需资质 熟悉专利和软著的价值,撰写方法和申请流程有较强的文档撰写整合及驱动大家共同完成文档的能力对整体产品框架内的价值点,具有良…

自动驾驶学习笔记(十二)——定位技术

#Apollo开发者# 学习课程的传送门如下,当您也准备学习自动驾驶时,可以和我一同前往: 《自动驾驶新人之旅》免费课程—> 传送门 《Apollo Beta宣讲和线下沙龙》免费报名—>传送门 文章目录 前言 卫星定位 RTK定位 IMU定位 GNSS定…