大数据数据分析-scala、IDEA、jdk之间的搭配关系

Scala主要是一门面向对象编程语言和函数式编程语言。

一、大数据框架(处理海量/流式数据)

-        ---以HADOOP 2. x为系列的大数据生态系统处理框架

                离线数据分析,分析的数据为N+1天数据

        -----MapReduce

              并行计算框架,分而治之

  •                    - HDFS(存储数据)
    •            - YARN(分布式的集群资源管理和任务调度框架)

        ----Hive

                基于SQL处理框架,将SQL转换为MapReduce,处理存储在HDFS上的数据,并且运行在YARN上。

        -----SQOOP

        桥梁:RDBMS(关系型数据库)-HDFS/HIVE 导入导出

        ----HBASE

                大数据分布式数据库

                     与MapReduce进行集成,可以读取数据进行分析处理,

                       也可能将分析结果存储到HBase表中。

        -----以storm为体系实时流式数据处理框架

                数据实时产生 ->进行实时处理

                应用场景:

                        实时交通监控,电商营业额,双十一

        -----以spark为体系的大数据处理框架

                内存

                        将处理数据过程中的中间结果数据,存放到内存中

                        核心编程(基础编程)

  •                                 sparkCore
  •                                 SparkSQL
  •                                 SparkSteaming

                         高级编程

                                        机器学习/深度学习/人工智能

  •                                         SparkGraphx
  •                                         SparkMLlib
  •                                         Spark on R

 二、Scala下载

Scala官网: The Scala Programming Languageicon-default.png?t=N7T8https://www.scala-lang.org/

虚拟机镜像

Index of /centos-vault/7.6.1810/isos/x86_64/ | 清华大学开源软件镜像站 | Tsinghua Open Source MirrorIndex of /centos-vault/7.6.1810/isos/x86_64/ | 清华大学开源软件镜像站,致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务,帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/centos-vault/7.6.1810/isos/x86_64/scala环境安装:

IntelliJ IDEA 2022.3版本支持多个Scala和JDK版本。以下是一些常见的Scala和JDK版本组合,适用于IntelliJ IDEA 2022.3:

  1. Scala 2.13.x与JDK 8、JDK 11或JDK 17:这是目前最新的Scala稳定版本,与多个JDK版本兼容。
  2. Scala 2.12.x与JDK 8或JDK 11:Scala 2.12.x是较旧的Scala版本,但仍然在许多项目中广泛使用。

--1,JAVA环境安装

        JAVA_HOME

        PATH

--2,SCALA环境安装

        SCALA_HOME

        PATH

--3,IDEA安装

        不同的idea版本对应不同的scala和jdk

三、SCALA中变量的声明

---val   value 简写,表示的意思为 值

           value name = "zhangsan"

           不可变

在SCALA语言中,variableType Inference,自动推断

当然也可以指定变量的类型,类型紧跟变量名后面,并使用分号隔开

val  xx : String = "xxx"

--var  variable简写,表示变量,可以改变的值

1.变量和常量
常量:在程序执行的过程中,其值不会被改变的变量 。

Java 与Scala变量和常量语法对比

Java

变量类型 变量名称 = 初始值
final 常量类型 常量名称 = 初始值
Scala

var 变量名 [: 变量类型] = 初始值

val 常量名 [: 常量类型] = 初始值

 2.键盘输入

在编程中,需要接收用户输入的数据,就可以使用键盘输入语句来获取。

直接无缝衔接使用Java的键盘输入 —— Scanner

使用Scala提供的自带的键盘输入 —— StdIn.readxxx()

基本语法

  • StdIn.readLine()
  • StdIn.readShort()
  • StdIn.readDouble()

3.关键字说明

  1. package: 包,等同于java中的package
  2. object:关键字,声明一个单例对象(伴生对象)
  3. main方法:从外部可以直接调用执行的方法
  4. def 方法名称 ( 参数名称 : 参数类型 ) : 返回值类型 = { 方法体 }

Scala 完全面向对象,故scala去掉了Java中非面向对象的元素,如static关键字,void类型
1) static
scala无static关键字,由object实现类似静态方法的功能(类名.方法名)
class关键字和Java中的class关键字作用相同,用来定义一个类
2) void
对于无返回值的函数,scala定义其返回值类型为Unit类型

四、 For循环控制

基本语法:

// java for循环语法
for(int i = 0; i < 10; i++){System.out.println("i=" + i);
}// scala for循环语法
for(i <- 1 to 10){println("i=" + i)
}
// 输出:从1~10(包含 1 和 10 )
4.1范围数据循环(Until)

1)基本语法

// 方法一:
for(i <- 1 until 10) {print("i=" + i)
}
// 输出:从1~10(包含 1,不包含 10 )// 方法二:
for(i <- Range(1,10)) {print("i=" + i)
}
4.2循环守卫
 基本语法:
for(i <- 1 to 3 if i != 2){print(i + " ")
}
4.3循环步长by

2)基本语法:

    for(i <- 1 to 10 by 2){print("i=" +i)}
 4.4嵌套循环

3)基本语法:

    //  嵌套循环for(i <- 1 to 3;j <- 1 to 3) {println("i=" +i+ "j=" +j)}
4.5引入变量
    //  引入变量for(i <- 1 to 3; j = 4 - i){println("i=" + i + "j=" +j)}
//    等价于for(i <- 1 to 3) {var j = 4 - iprintln("i=" + i + "j=" +j)}
4.6循环返回值
    val res = for (i <- 1 to 10) yield iprintln(res)//  需求:将原数据中所有值乘以2,并把数据返回到一个新的集合中。var res_l = for (i <- 1 to 10) yield {i * 2}println(res_l)

五、函数

1)函数可以作为值进行传递

    def f(n: Int): Int = {println("f调用")n + 1}//  调用f(123),返回值124,将返回值赋给val变量resultvar result: Int = f(123)println(result)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/751201.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据治理系统论-结合数据要素等

什么是数据治理&#xff1f; 数据治理是指组织内外部对数据进行管理和监控的全面框架。它涵盖了数据的安全、合规性、可用性和价值最大化等方面。通过有效的数据治理&#xff0c;组织能够更好地理解其数据资产&#xff0c;并确保数据被正确地管理和利用。 数据治理的重要性 在…

django实现api接口

&#xff08;前期准备&#xff09;第一步&#xff1a;虚拟环境 在windows上使用virtualenvwrapper。 pip install virtualenvwrapper-win 接着&#xff0c;添加环境变量。 echo %WORKON_HOME% 接下来就是创建虚拟环境&#xff0c;假如创建myenv mkvirtualenv myenv 进入…

sqllab第二十八关通关笔记(附带28a)

知识点&#xff1a; union select 整体过滤 union all select 替换where id(输入)空格 过滤了&#xff0c;使用%09代替 经过不断的测试&#xff0c;发现原始语句为 where id(输入) 构造payload:id1)and%091(1 成功回显出了相关的信息 好&#xff0c;尝试进行错误注入 构造…

java虚拟机的堆核心知识介绍

Java虚拟机&#xff08;JVM&#xff09;的堆&#xff08;Heap&#xff09;是Java内存模型中一个至关重要的部分。它是运行时数据区&#xff0c;用于存储Java对象实例。堆是垃圾收集器工作的地方&#xff0c;也是Java应用程序内存管理的关键区域。在本教程中&#xff0c;我们将深…

nvm安装,nvm使用及常用命令,node版本管理

前端学习交流QQ群&#xff1a;1群&#xff1a;173683895 &#xff0c;2群: 173683866 承接项目开发&#xff0c;需求功能开发&#xff0c;博主微信号&#xff1a;Jay_09168 安装包下载地址 下载使用 安装&#xff1a; 点击 nvm-setup.exe&#xff0c;按下图步骤安装&#…

STM32系列——F103C8T6 控制SG90舵机(HAL库)

文章目录 一、舵机控制原理二、.CubeMX配置配置RCC、SYS、时钟树配置RCC配置SYS配置时钟树配置定时器产生PWM波形 Keil5代码接线图及效果如果您发现文章有错误请与我留言&#xff0c;感谢 一、舵机控制原理 舵机的控制一般需要一个20ms左右的时基脉冲&#xff0c;该脉冲的高电平…

(含链接)2024年NVIDIA GPU技术大会开发者合集(专为开发者挑选的合集)

2024年NVIDIA GPU技术大会开发者合集 我专门为开发者整理了NVIDIA GPU技术大会上专注技术的内容合集, 希望可以帮助开发者朋友们快速了解NVIDIA的最新技术. 注意:在电脑端打开更友好, 可以直接进入每一项的网页 文章目录 2024年NVIDIA GPU技术大会开发者合集如何登录和预约会…

[AutoSar]BSW_Com015 PDUR 模块配置

目录 关键词平台说明一、Abbreviations二、PduRBswModules三、PduRGeneration四、PduRDestPdus4.1 全局PDU ID和本地PDU ID 关键词 嵌入式、C语言、autosar、OS、BSW 平台说明 项目ValueOSautosar OSautosar厂商vector &#xff0c; EB芯片厂商TI 英飞凌编程语言C&#xff0…

react中setState是同步的还是异步的

首先说一下setState是同步的还是异步的&#xff1f; 1.解读 setState 工作流 接下来我们就沿着这个流程&#xff0c;逐个在源码中对号入座。首先是 setState 入口函数&#xff1a; ReactComponent.prototype.setState function (partialState, callback) {this.updater.enqu…

ThingsBoard初始化数据库Postgres

本章将介绍ThingsBoard的本地环境搭建&#xff0c;以及源码的编译安装。本机环境&#xff1a;centos7&#xff0c;docker,postgres 环境安装 开发环境要求&#xff1a; docker pcentos7 &#xff1b;docker&#xff1b;postgres: 1、使用Docker创建postgres容器化创建 docker…

JS函数知识点(复习)

在 JavaScript&#xff08;JS&#xff09;中使用函数有多种原因&#xff0c;这些原因不仅涉及到代码的组织和可读性&#xff0c;还涉及到代码的可维护性、复用性以及程序的模块化等方面。以下是一些关键的理由&#xff1a; 代码重用&#xff1a;函数允许你将一段代码块封装起来…

基于深度学习的唇语识别系统的设计与实现

概要 人工智能作为三大工程之一&#xff0c;从上个世纪至今仍然活跃于各个行业的研究与应用之中&#xff0c;应时代的热潮方向&#xff0c;本 课题主要针对深度学习技术应用于唇语识别当中&#xff0c;实现词语唇语的翻译功能。唇语识别在图像处理中一直是一个富 有挑战性的课题…

力扣59. 螺旋矩阵 II

思路&#xff1a;此题思路就是绕圈遍历&#xff0c;全靠条件处理技巧&#xff0c;重点要清楚的就是循环不变量&#xff1a;左闭右开&#xff08;即拐弯处的一个数&#xff0c;留给第二行处理&#xff09; 以下是代码随想录的作者的一张图片&#xff0c;每次for循环&#xff0c;…

使用三种方式读取文本文件

文章目录 &#x1f354;需求&#x1f384;思路⭐代码⭐效果&#x1f6f8;注意 在 Java 中&#xff0c;读取文件通常涉及以下几个步骤&#xff1a; 打开文件&#xff1a;首先需要创建一个文件对象&#xff0c;表示要读取的文件。这个文件对象可以包含文件路径、文件名等信息。 …

使用canvas实现图纸标记及回显

图纸 图纸标记后的效果图 最近做的一个qms项目里面&#xff0c;需要前端在图纸上实现标记及标记后的内容还要能够回显&#xff0c;然后后端通过标记的点&#xff0c;去读取标记图纸的内容&#xff0c;如一些公式、数据之类的&#xff0c;目前实现的功能有 在图纸上面进行矩形…

Mysql 索引、锁与MVCC等相关知识点

文章目录 Mysql锁的类型锁使用MVCC快照读和当前读读视图【Read View】串行化的解决 索引类型存储方式区分逻辑区分实际使用区分索引失效情况 索引建立规范SQL编写规范exlpain字段解析ACID的原理日志引擎慢SQL整合SpringBoot博客记录 Mysql锁的类型 MySQL中有哪些锁&#xff1a…

Flutter:构建美观应用的跨平台方案

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…

C#创建第一个PIESDK模版的项目

目录 环境配置创建项目方式 环境配置 1软件安装 通过安装光盘或者U盘等介质读取PIE软件的安装程序和使用文档。程序安装过程比较简单&#xff0c;软件本身不借助与任何第三方程序&#xff0c;直接双击安装程序【PIESDK.Net_V6.3_Windows_X64.exe】安装文件&#xff0c;即可安装…

尚硅谷vue全家桶(上)

vue2 简介第一天第二天 第三天第四天第五天 第六天第七天第八天 第九天 网课链接&#xff08;半个月拿下&#xff09; 简介 需要提前会的东西 中文文档链接点下面 vue.js 要会查文档用API 第一天 清除提示1 再文档中下载开发版本浏览器安装vue devtools插件 打开允许访问URL…

【C语言】字符函数与字符串函数以及内存函数 { 超详细攻略,一篇学会 }

今日分享&#xff1a;字符、字符串函数和内存函数 内存函数就是对内存进行操作的函数 字符串函数就是对字符串进行操作的函数 字符函数就是对字符进行操作的函数 str前缀的函数是字符串函数&#xff0c;头文件string.h mem前缀的函数是内存函数&#xff0c;头文件stdlib.h 字符…