Ubuntu 下PySpark安装

  1. 操作系统:Ubuntu20.04
  2. 所需软件: Java 8 +,Python 3.5 +, Scala 2.11.12+
  3. 安装Java 8
      sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version
    
  4. 安装scala
    sudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb
    sudo dpkg -i scala-2.12.8.deb
    scala -version
    
  5. 安装pip
    sudo apt-get install pip
    
  6. 安装py4j
    sudo pip install py4j
    
  7. 安装Python3.6
    默认情况下,Ubuntu20.04附带了Python2.7和Python3.5,如果没有附带或者想要安装最新python3.6,可以使用"deadsnakes"团队PPA,它为Ubuntu打包了最新Python版本
     sudo add-apt-repository ppa:deadsnakes/ppasudo apt updatesudo apt install python3.6
    
  8. 安装spark
    sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
    tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz
    
  9. 编辑系统变量
    vim ~/.bashrc
    
    SPARK_HOME路径视自己安装路径决定。
    export SPARK_HOME=/opt/module/spark-2.4.8-bin-hadoop2.7
    export PATH=${SPARK_HOME}/bin:$PATH
    
    source ~/.bashrc
    
  10. 启动pyspark
    pyspark
    
    在这里插入图片描述

文章转载于:链接
作者:Congqing He

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/550659.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据集_自动驾驶数据集

前面介绍了自动驾驶的仿真平台,接下来又收集了目前主要的自动驾驶数据集。抱着这个想法,何不做一个awesome,在git上搜索,已经有人建了一个awesome了,也免得重复造轮子。但是作者很久没更新了,于是决定也加入…

rdd.foreach(print)报错SyntaxError: invalid syntax

问题 解决方法from __future__ import print_function如图:

地铁框架保护的原理_继电保护的基础知识和原理(地铁)

1.继电保护技术发展简史上世纪60年代以前,我国的继电保护主要由传统的机电型继电器构成,其中包括了电磁型继电器和感应型继电器。60年代末70年代初,晶体管保护和整流型保护得到了应用。90年代起,集成电路保护和微机型保…

golang如何生成随机数

目录如何生成随机数示例:未写随机数种子:加上随机数种子后:如何生成随机数 在go语言中,生成随机数需要先添加一个***随机数种子***,否则每次运行生成的随机数都是同样顺序的数字 rand.Seed(time.Now().UnixNano()) r…

js string转两位小数_js保留两位小数的函数有哪些

js保留两位小数的函数有:1、【toFixed()】函数;2、【Math.floor()】函数不四舍五入 ,向下取整;3、使用字符串匹配方法;4、四舍五入保留2位小数;5、浮点数保留两位小数。js保留两位小数的函数有:…

golang基础学习笔记

golang基础学习golang1. 认识golang和goland使用1.1 goland插件2. 数据类型2.1 结构体3. 流程控制ifswitchselectforrangeGoto、Break、Continue4. 函数4.1 匿名函数4.2 闭包、递归4.3 延迟调用什么是deferdefer的常见用途释放已经获取的资源从panic中恢复延迟闭包参数即时求值…

lamda获取参数集合去空_(转)Java8使用lambda表达式进行集合的遍历

本文转自我们经常会用到各种集合,数字的,字符串的还有对象的。它们无处不在,哪怕操作集合的代码要能稍微优化一点,都能让代码清晰很多。在这章中,我们探索下如何使用lambda表达式来操作集合。我们用它来遍历集合&#…

git@github.com:Permission denied(publickey).fatal: Could not read form remote repository错误

文章目录前言问题分析解决方法配置客户端配置服务端验证前言 在使用goland从github下载依赖时(git clone github.com/gin-gonic/gin)出现gitgithub.com:Permission denied(publickey).fatal: Could not read form remote repository错误。 问题分析 Permission denied(publi…

go出现missing go.sum entry for module providing package 错误

文章目录前言问题分析解决方法前言 从github下载了别人的代码后直接执行,报missing go.sum entry for module providing package错误 问题分析 代码中使用了第三方库,但是go.mod并没有跟着更新 解决方法 在项目目录下打开终端,执行go mo…

的计时器设置_如何选择最适合自己的计时器?

本文作者是Ultraman,他为了找到最适合自己的计时方法,试验了十多种计时器或者沙漏,总结出了非常棒的经验!相信本文一定会对你有所帮助。 ——李长太大家对番茄工作法一定已经不陌生了,那么进行番茄工作法的时候&#x…

npm install报错 npm ERR,code ERESOLVE npm ERR,ERESOLVE unable to resolve dependency tree

文章目录前言问题分析解决方法转载于前言 在下载npm时报错npm ERR! code ERESOLVE npm ERR! ERESOLEVE unable to resolve dependency tree 问题分析 我的npm版本为8.x,npm6.x之后的版本更加严格了,所以会报错 解决方法 方法1,降级到np…

go的time.Time格式相关转换

文章目录time.Time 转 字符串time.Time 转 时间戳时间戳 转 time.Time时间戳 转 日期字符串日期字符串 转 time日期字符串 转 时间戳其他日期字符串yyyy-MM-dd转换为日期字符串yyyyMMddtime.Time 转 字符串 t.Format("2010-12-06") t.Format("2010-12-06 12:01…

go TypeError: Failed to execute ‘fetch‘ on ‘Window‘: Request with GET/HEAD method cannot have body.

文章目录前言问题分析解决方法前言 使用swagger测试一个Get路由时,想要传入form-data数据时报错TypeError: Failed to execute ‘fetch‘ on ‘Window‘: Request with GET/HEAD method cannot have body. 问题分析 GET把参数包含在URL中 POST把通过request body…

卡顿严重_微软Win 10游戏模式致《使命召唤:战区》等游戏出现严重卡顿现象

IT之家5月8日消息 据Windowslatest报道,有部分用户报告称Windows 10游戏模式可能对某些硬件的游戏性能产生负面影响。一位用户表示,启用游戏模式后,搭载Radeon RX 5700 XT、RX 480、R9 290等AMD显卡设备以及GTX 980和GTX 1080 Ti等Nvidia显卡…

gin的Bindxxx和ShouldBindxxx的区别

区别 Bindxxx:解析错误会在head中添加400的返回信息 ShouldBindxxx:解析错误直接返回,返回什么错误状态码由自己决定。

非知识类资源分享

文章目录好用的电脑软件好用的电脑软件 Quicker:windows上的一个工具箱软件,内置了电脑常用操作,一键完成需要多个步骤的工作。还可以通过Quicker的动作库安装别人分享的动作。推荐Smart Var码农的变量名动作,可以将中文直接转换…

MySQL的MVCC是什么

文章目录MVCC是什么MVCC的作用MVCC的实现原理Read View是什么Read View如何判断某个版本可以访问MVCC是什么 MVCC(Multiversion concurrency control)是同一行数据保留多版本的一种方式,进而实现并发控制。 在查询时,通过read view和版本链找到对应版本…

go中make、new和直接var的区别

文章目录直接varmakenew小结直接var func main(){var sli []intfmt.Println(sli) // 打印结果为:[]fmt.Println(len(sli)) // 打印结果为:0fmt.Println(cap(sli)) // 打印结果为:0fmt.Println(sli[0]) // panic: index out of…

[Redis] Redis穿透、雪崩和击穿

穿透 定义: 穿透是指请求的数据在Redis缓存中和数据库中都没有,所以数据库返回了一个空数据,Redis也不会进行缓存,每次请求的数据都会查询数据库。 解决方法: Redis对数据库返回的空数据也进行缓存,并设置…

[Redis] Redis几种部署方式

单机 优点: 部署简单 缺点: 性能受限于单台服务器性能,难以横向拓展,容灾能力差 主从同步 是什么: 主从同步即一个master节点,多个slave节点且slave节点也可拥有slave节点 主从同步的方式有两种&#xff…