DataFrame函数介绍

DataFrame函数

文章目录

  • DataFrame函数
      • DataFrame 的函数
        • Action 操作
        • dataframe的基本操作
        • 集成查询

DataFrame 的函数

Action 操作

  • collect() ,返回值是一个数组,返回dataframe集合所有的行

  • collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行

  • count() 返回一个number类型的,返回dataframe集合的行数

  • describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max),这个可以传多个参数,中间用逗号分隔,如果有字段为空,那么不参与运算,只这对数值类型的字段。例如df.describe(“age”, “height”).show()*

  • first() 返回第一行 ,类型是row类型

  • head() 返回第一行 ,类型是row类型

  • head(n:Int)返回n行 ,类型是row 类型

  • show()返回dataframe集合的值 默认是20行,返回类型是unit

  • show(n:Int)返回n行,,返回值类型是unit

  • table(n:Int) 返回n行 ,类型是row 类型

dataframe的基本操作

  • cache()同步数据的内存
  • columns 返回一个string类型的数组,返回值是所有列的名字
  • dtypes返回一个string类型的二维数组,返回值是所有列的名字以及类型
  • explan()打印执行计划物理的
  • explain(n:Boolean) 输入值为 false 或者true ,返回值是unit 默认是false ,如果输入true 将会打印 逻辑的和物理的
  • isLocal 返回值是Boolean类型,如果允许模式是local返回true 否则返回false
  • persist(newlevel:StorageLevel) 返回一个dataframe.this.type 输入存储模型类型
  • printSchema() 打印出字段名称和类型 按照树状结构来打印
  • registerTempTable(tablename:String) 返回Unit ,将df的对象只放在一张表里面,这个表随着对象的删除而删除了
  • schema 返回structType 类型,将字段名称和类型按照结构体类型返回
  • toDF()返回一个新的dataframe类型的
  • toDF(colnames:String*)将参数中的几个字段返回一个新的dataframe类型的
  • unpersist() 返回dataframe.this.type 类型,去除模式中的数据
  • unpersist(blocking:Boolean)返回dataframe.this.type类型 true 和unpersist是一样的作用false 是去除RDD

集成查询

  • agg(expers:column*) 返回dataframe类型 ,同数学计算求值
    df.agg(max(“age”), avg(“salary”))
    df.groupBy().agg(max(“age”), avg(“salary”))*
  • agg(exprs: Map[String, String]) 返回dataframe类型 ,同数学计算求值 map类型的
    df.agg(Map(“age” -> “max”, “salary” -> “avg”))
    df.groupBy().agg(Map(“age” -> “max”, “salary” -> “avg”))
  • agg(aggExpr: (String, String), aggExprs: (String, String)) 返回dataframe类型 ,同数学计算求值
    df.agg(Map(“age” -> “max”, “salary” -> “avg”))
    df.groupBy().agg(Map(“age” -> “max”, “salary” -> “avg”))
  • apply(colName: String) 返回column类型,捕获输入进去列的对象
  • as(alias: String) 返回一个新的dataframe类型,就是原来的一个别名
  • col(colName: String) 返回column类型,捕获输入进去列的对象
  • cube(col1: String, cols: String*) 返回一个GroupedData类型,根据某些字段来汇总*
  • distinct 去重 返回一个dataframe类型
  • drop(col: Column) 删除某列 返回dataframe类型
  • dropDuplicates(colNames: Array[String]) 删除相同的列 返回一个dataframe
  • except(other: DataFrame) 返回一个dataframe,返回在当前集合存在的在其他集合不存在的
  • explode[A, B](inputColumn: String, outputColumn: String)(f: (A) ⇒ TraversableOnce[B])(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag[B]) 返回值是dataframe类型,这个 将一个字段进行更多行的拆分
    df.explode(“name”,“names”) {name :String=> name.split(" ")}.show();
    将name字段根据空格来拆分,拆分的字段放在names里面
  • filter(conditionExpr: String): 刷选部分数据,返回dataframe类型 df.filter(“age>10”).show(); df.filter(df(“age”)>10).show(); df.where(df(“age”)>10).show(); 都可以
  • groupBy(col1: String, cols: String*) 根据某写字段来汇总返回groupedate类型 df.groupBy(“age”).agg(Map(“age” ->“count”)).show();df.groupBy(“age”).avg().show();都可以*
  • intersect(other: DataFrame) 返回一个dataframe,在2个dataframe都存在的元素
  • join(right: DataFrame, joinExprs: Column, joinType: String)
    一个是关联的dataframe,第二个关联的条件,第三个关联的类型:inner, outer, left_outer, right_outer, leftsemi
    df.join(ds,df(“name”)===ds(“name”) and df(“age”)===ds(“age”),“outer”).show();
  • limit(n: Int) 返回dataframe类型 去n 条数据出来
  • na: DataFrameNaFunctions ,可以调用dataframenafunctions的功能区做过滤 df.na.drop().show(); 删除为空的行
  • orderBy(sortExprs: Column*) 做alise排序*
  • select(cols:string*) dataframe 做字段的刷选 df.select($“colA”, $“colB” + 1)*
  • selectExpr(exprs: String*) 做字段的刷选 df.selectExpr(“name”,“name as names”,“upper(name)”,“age+1”).show();*
  • sort(sortExprs: Column*) 排序 df.sort(df(“age”).desc).show(); 默认是asc
  • unionAll(other:Dataframe) 合并 df.unionAll(ds).show();
  • withColumnRenamed(existingName: String, newName: String) 修改列表 df.withColumnRenamed(“name”,“names”).show();
  • withColumn(colName: String, col: Column) 增加一列 df.withColumn(“aa”,df(“name”)).show();

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509514.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

GCC编译器和GDB调试器常用选项

GCC编译器 gcc hello.c -o hello #将hello.c编译成hello可执行文件 gcc -E hello.c -o hello.i #将hello.c 转换成预处理后的文件hello.igcc -S hello.c -o hello.S #将hello.c 转换成汇编文件 hello.Sgcc -c hello.c -o hello.…

树结构练习——判断给定森林中有多少棵树

题目描述 众人皆知,在编程领域中,C是一门非常重要的语言,不仅仅因为其强大的功能,还因为它是很多其他面向对象语言的祖先和典范。不过这世上几乎没什么东西是完美的,C也不例外,多继承结构在带来强大功能的同…

Spark RDD分区2G限制

Spark RDD分区2G限制 文章目录Spark RDD分区2G限制问题现象解决方法为什么2G限制个人思(yu)考(jian)问题现象 遇到这个问题时,spark日志会报如下的日志 片段1: 15/04/16 14:13:03 WARN scheduler.TaskSe…

hdu3790最短路径问题(迪杰斯特拉算法+详解+代码)

最短路径问题 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 32544 Accepted Submission(s): 9565Problem Description给你n个点,m条无向边,每条边都有长度d和花费p,给你起…

T型知识结构

传统的知识结构,即仅有某一专业知识的结构。这是惟一的知识结构,或称线性结构。这种知识结构已远远不能适应形势对管理者的要求。新型的人才知识结构通常可分为三角形、宝塔形、衣架型、T型、H型、X型等。前三个类型一般是指专业技术人才,在某…

priority_queueint,vectorint,greaterint优先队列,按照从小到大

原网址&#xff1a; 优先队列 C优先队列的基本使用方法 在优先队列中&#xff0c;优先级高的元素先出队列。 标准库默认使用元素类型的<操作符来确定它们之间的优先级关系。 优先队列的第一种用法&#xff0c;也是最常用的用法&#xff1a; priority_queue<int>qi;通…

Spark stage如何划分

窄依赖和宽依赖 窄依赖&#xff1a; 指父RDD的每一个分区最多被一个子RDD的分区所用&#xff0c;表现为一个父RDD的分区对应于一个子RDD的分区&#xff0c;和两个父RDD的分区对应于一个子RDD 的分区。图中&#xff0c;map/filter和union属于第一类&#xff0c;对输入进行协同…

引出发射和什么是反射和Class类和Class实例、基本类型的字节码对象

引出发射和什么是反射 问题1: 1.对象有编译类型和运行类型Object obj new java.util.Date();编译类型: Object运行类型: java.util.Date需求:通过obj对象,调用java.util.Date类中的toLocaleString方法.obj.toLocaleString(); 此时编译报错, 编译时,会检查该编译类型中是…

GCC常用命令详解

GCC(GNU Compiler Collection)是Linux下最常用的C语言编译器&#xff0c;是GNU项目中符合ANSI C标准的编译系统,能够编译用C、C和Object C等语言编写的程序。同时它可以通过不同的前端模块来支持各种语言&#xff0c;如Java、Fortran、Pascal、Modula-3和Ada等。穿插一个玩笑&a…

判断给定森林中有多少棵树特别版

题目描述 众人皆知&#xff0c;在编程领域中&#xff0c;C是一门非常重要的语言&#xff0c;不仅仅因为其强大的功能&#xff0c;还因为它是很多其他面向对象语言的祖先和典范。不过这世上几乎没什么东 西是完美的&#xff0c;C也不例外&#xff0c;多继承结构在带来强大功能的…

Spark使用HanLP分词

Spark使用HanLP分词 将HanLP的data(包含词典和模型)放到hdfs上&#xff0c;然后在项目配置文件hanlp.properties中配置root的路径&#xff0c;比如&#xff1a;roothdfs://localhost:9000/tmp/ 实现com.hankcs.hanlp.corpus.io.IIOAdapter接口 public static class Hadoop…

获取类中的构造器

需求:通过反射来获取某一个类的构造器: 1):获取该类的字节码对象. 2):从该字节码对象中去找需要获取的构造器. ------------------------------------------------------------------------ Class类获取构造器方法: Constructor类:表示类中构造器的类型,Constructor的实例…

SparkStreaming Kafka 自动保存offset到zookeeper

SparkStreaming Kafka 自动保存offset到zookeeper 场景 spark使用的是1.6&#xff0c;SparkStreaming1.6时候使用的kafka jar包为0.8的&#xff0c;消费时候不记录消费到的信息&#xff0c;导致重复消费&#xff0c;故手动保存到zookeeper&#xff0c;SparkStreaming2.1.1时使…

数据结构实验之查找一:二叉排序树

题目描述 对应给定的一个序列可以唯一确定一棵二叉排序树。然而&#xff0c;一棵给定的二叉排序树却可以由多种不同的序列得到。例如分别按照序列{3,1,4}和{3,4,1}插入初始为空的二叉排序树&#xff0c;都得到一样的结果。你的任务书对于输入的各种序列&#xff0c;判断它们是否…

GCC常用参数详解

简介 gcc and g现在是gnu中最主要和最流行的c & c编译器 .gcc/g在执行编译工作的时候&#xff0c;总共需要以下几步: 1.预处理,生成.i的文件[预处理器cpp] 2.将预处理后的文件不转换成汇编语言,生成文件.s[编译器egcs] 3.有汇编变为目标代码(机器代码)生成.o的文件[汇编器a…

使用反射调用构造器创建对象

构造器最大的作用:创建对象. 为什么使用反射创建对象,为什么不直接来new呢? 在框架中,提供给我们的都是字符串. ----------------------------------------------------------- 使用反射创建对象: 步骤: 1);找到构造器所在类的字节码对象. 2):获取构造器对象. 3):使用反射…

数据结构实验之查找三:树的种类统计

题目描述 随着卫星成像技术的应用&#xff0c;自然资源研究机构可以识别每一个棵树的种类。请编写程序帮助研究人员统计每种树的数量&#xff0c;计算每种树占总数的百分比。 输入 输入一组测试数据。数据的第1行给出一个正整数N (n < 100000)&#xff0c;N表示树的数量&…

java中如何使用反射调用方法以及获得类中的属性

使用反射获取类中的方法: 1):获取方法所在类的字节码对象. 2):获取方法. ------------------------------------------------------------------------ Class类中常用方法: publicMethod[] getMethods():获取包括自身和继承过来的所有的public方法 publicMethod[] getDeclaredM…

Maxwell读取MySQL数据

文章目录Maxwell 概述1.1 Maxwell 定义1.2 Maxwell工作原理1.2.1 MySQL主从复制过程1.2.2 Maxwell的工作原理1.2.3 **MySQL** **的** binlog1.3 Maxwell和Canal的对比Maxwell使用2.1 Maxwell安装2.1.1 安装地址2.1.2 安装部署2.1.3 MySQL环境准备2.1.4 初始化Maxwell元数据库2.…

数据结构实验之查找二:平衡二叉树

题目描述 根据给定的输入序列建立一棵平衡二叉树&#xff0c;求出建立的平衡二叉树的树根。 输入 输入一组测试数据。数据的第1行给出一个正整数N(n < 20)&#xff0c;N表示输入序列的元素个数&#xff1b;第2行给出N个正整数&#xff0c;按数据给定顺序建立平衡二叉树。 输…