windows安装spark

在 Windows 上安装 Spark 并进行配置需要一些步骤,包括安装必要的软件和配置环境变量。以下是详细的步骤指南:

步骤一:安装 Java

  1. 下载和安装 Java Development Kit (JDK)

    • 到 Oracle JDK 下载页面 或 OpenJDK 下载页面 下载适合你系统的 JDK。
    • 安装 JDK,记住安装路径。
  2. 配置环境变量

    • 右键点击“此电脑”或“计算机”,选择“属性”。

    • 点击“高级系统设置”。

    • 点击“环境变量”。

    • 在“系统变量”下,点击“新建”,然后添加以下内容:

      • 变量名:JAVA_HOME
      • 变量值:JDK 安装路径(例如:C:\Program Files\Java\jdk-11.0.10
    • 找到 Path 变量,选择它并点击“编辑”。在变量值的末尾添加以下内容:%JAVA_HOME%\bin

步骤二:安装 Hadoop

  1. 下载 Hadoop 二进制文件

    • 到 Hadoop 官方网站 下载最新的二进制发行版,例如 hadoop-3.3.1.tar.gz
    • 解压缩文件到你的本地目录,例如 C:\hadoop-3.3.1
  2. 配置 Hadoop 环境变量

    • 回到“环境变量”窗口,点击“新建”,然后添加以下内容:

      • 变量名:HADOOP_HOME
      • 变量值:Hadoop 安装路径(例如:C:\hadoop-3.3.1
    • 编辑 Path 变量,在变量值的末尾添加以下内容:%HADOOP_HOME%\bin

  3. 配置 Hadoop Winutils

    • 下载 Hadoop 的 winutils.exe 文件,可以从 GitHub 仓库 找到对应版本。
    • winutils.exe 放到 C:\hadoop-3.3.1\bin 目录下。

步骤三:安装 Apache Spark

  1. 下载 Spark

    • 到 Spark 官方网站 下载预编译的 Spark 版本,例如 spark-3.1.2-bin-hadoop3.2.tgz
    • 解压缩文件到你的本地目录,例如 C:\spark-3.1.2-bin-hadoop3.2
  2. 配置 Spark 环境变量

    • 回到“环境变量”窗口,点击“新建”,然后添加以下内容:

      • 变量名:SPARK_HOME
      • 变量值:Spark 安装路径(例如:C:\spark-3.1.2-bin-hadoop3.2
    • 编辑 Path 变量,在变量值的末尾添加以下内容:%SPARK_HOME%\bin

步骤四:验证安装

  1. 打开命令提示符

    • Win + R 打开“运行”窗口,输入 cmd 并按 Enter
  2. 验证 Java 安装

    • 在命令提示符中输入:java -version
    • 应该显示已安装的 Java 版本。
  3. 验证 Hadoop 安装

    • 在命令提示符中输入:hadoop version
    • 应该显示已安装的 Hadoop 版本。
  4. 验证 Spark 安装

    • 在命令提示符中输入:spark-shell
    • 应该启动 Spark Shell 并显示 Spark 版本和其他信息。

步骤五:运行 Spark 示例

  1. 在命令提示符中
    • 进入 Spark 安装目录,例如:cd C:\spark-3.1.2-bin-hadoop3.2
    • 运行 Spark 示例:bin\spark-submit --class org.apache.spark.examples.SparkPi examples\jars\spark-examples_2.12-3.1.2.jar 10
    • 这将运行 Spark Pi 示例并输出结果。

通过以上步骤,你已经在 Windows 系统上成功安装并配置了 Spark,可以开始进行分布式数据处理和分析任务。如果在安装过程中遇到问题,请确保每一步的环境变量配置和软件版本匹配。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/28544.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI 与机器视觉:一场变革性的融合

在当今科技的舞台上,AI 与机器视觉的结合正绽放出耀眼的光芒,为各个领域带来了深刻的变革与突破。 AI 对机器视觉的帮助首先体现在强大的图像识别能力上。传统的机器视觉虽然也能进行一定程度的识别,但在面对复杂场景和多样化的物体时,往往会显得力不从心。而 AI 的介入,尤…

微信小程序开发系列(三十五)·自定义组件的属性properties

微信小程序开发系列(三十四)自定义组件的创建、注册以及使用(数据和方法事件的使用)_wx小程序组件开发-CSDN博客 目录 1. 组件的属性 2. 组件的使用 3. 细节描述 1. 组件的属性 Properties是指组件的对外属性,主…

Ms08067安全实验室成功实施多家业务系统渗透测试项目

点击星标,即时接收最新推文 近日,Ms08067安全实验室针对多家公司重要系统实施渗透测试项目。公司网络信息系统的业务应用和存储的重要信息资产均较多,存在网络系统结构的复杂性和庞杂等特点,使得公司网络信息系统面临一定风险。项…

顺安蜘蛛池四川官网下载

baidu搜索:如何联系八爪鱼SEO? baidu搜索:如何联系八爪鱼SEO? baidu搜索:如何联系八爪鱼SEO? 虽然影视泛目录很火,但超度站群版本自出现以来-直流量稳定,可惜这两年起站全靠域名。但话说回来,咱不能否认,只要用的域名好,做啥泛目录都有好…

【第11章】别人的工作流,如何使用和调试(上)?(2类必现报错/缺失节点/缺失模型/思路/实操/通用调试步骤)ComfyUI基础入门教程

经过前面章节的学习,相信大家对于工作流是什么?如何搭建?怎么使用基础的工作流?已经很清楚了。 那么,接下来的课程,我们会上一点难度, 并且更接近实战状态了。 这节课,我们就用一套从“文本 - 静帧 - 视频”的AI短片全流程工作流,讲一下,网络上下载的工作流,需要如…

树与图的深度优先遍历——AcWing.846树的重心

树与图的深度优先遍历 定义 从图的某个顶点出发,沿着一条路径尽可能深地访问图中顶点。 运用情况 图的连通性判断。寻找特定路径或回路。 注意事项 要标记已访问的节点,以避免重复访问导致死循环。对于有向图和无向图可能需要不同的处理。 解题思…

C++ Primer Plus第五版笔记(p201-250)

第六章 函数(下) 在含有return语句的循环后面应该也有一条return语句 不要返回局部对象的引用或指针,当函数结束时临时对象占用的空间也就随之释放掉了,所以两条return语句都指向了不再可用的内存空间。 如果函数返回指针、引用…

排序(2)【选择排序】【快速排序】

一.选择排序 选择排序就是选择一个数组的最大的数字或者最小的数字,放在一整个数组的最后或者开头的位置。 1.选择排序的实现 我们可以对选择排序进行一些加强,普通的选择排序是选择最小的数,然后进行交换。这个加强之后就是我们既要选择出…

Python:哈希查找法

哈希查找(Hash Search)是一种高效的搜索算法,它利用哈希函数将键映射到存储位置,并在该位置查找目标元素。哈希查找适用于快速查找和检索,特别适用于大型数据集合。以下是哈希查找的详细解释和示例: 1.哈希…

从ES的JVM配置起步思考JVM常见参数优化

目录 一、真实查看参数 (一)-XX:PrintCommandLineFlags (二)-XX:PrintFlagsFinal 二、堆空间的配置 (一)默认配置 (二)配置Elasticsearch堆内存时,将初始大小设置为…

堆排序!!

堆排序 算法思想maxHeapify函数maxHeapify完整代码 HeapSort函数HeapSort完整代码 问题描述完整代码 算法思想 堆排序基于完全二叉树的堆数据结构,其中每个节点的值都大于或等于其子节点的值(最大堆),或者小于或等于其子节点的值…

ElasticSearch + kibana:类型声明

当我们使用 kibana 创建索引时,如果不申明数据类型,默认字符串赋予 text类型,如下图所示 接下来我们继续创建多条数据如下: 下面我们来检索下: 通过以上两个案例我们发现,使用 match 模糊查询 li-3 明明…

别再问别人了,这是小白都能懂的拓扑图指南

号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部 上午好,我的网工朋友。 老杨的网工交流群里经常会有这种现象: 一群小伙伴在问各类型拓扑图的问题,怎么设计&…

monitor-zabbix

监控体系理论 学习本篇文章,了解运维监控系统的前世今生 zabbix官网仓库地址 zabbix官网 https://www.zabbix.com/cn/zabbix官网仓库地址 http://repo.zabbix.com/zabbix/ http://repo.zabbix.com/zabbix/4.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_…

Hi3861 OpenHarmony嵌入式应用入门--基于HI-12F开发板烧写程序

首先需要一个开发板,我已经在嘉立创上进行了开源,基于安信可hi-12f模块的开发板,集成了两个按键,一个三色灯,一个滑动变阻器,可外接一个0.96寸液晶。 【HI-12F】基于安信可hi-12f模块的开发板 - 嘉立创EDA…

借助Aspose.Email,使用 C# .NET 创建 PST 文件并填充内容

PST(个人存储表)文件是管理 Outlook 数据的重要组成部分,方便存储电子邮件、联系人、日历和其他项目。在 C# .NET 开发领域,创建和管理存储文件的过程对于各种应用程序至关重要。 在本文中,我们将探讨如何使用 C# .NE…

内窥镜窄带光

文章目录 NBI相关信息 NBI相关信息 第一不知道哪家有这个技术? 第二直接搜索找不到相关信息 第三只能搜企业官网 搜集到的与NBI,相关的信息如下 英美达医疗公司 https://www.innermed.com/index.php/gongsixinwen/139.html 新光维医疗公司 官网页面…

【Spring】1. Maven项目管理

📚博客主页:爱敲代码的小杨. ✨专栏:《Java SE语法》 | 《数据结构与算法》 | 《C生万物》 |《MySQL探索之旅》 |《Web世界探险家》 ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻,您的三连就是我持续更…

Web前端图片欣赏:视觉盛宴与技术魅力的完美融合

Web前端图片欣赏:视觉盛宴与技术魅力的完美融合 在这个数字化时代,Web前端技术不仅承载着信息的传递,更在视觉呈现上不断追求创新与突破。今天,我们将一同欣赏一场由Web前端技术打造的图片盛宴,感受其独特的魅力与无尽…

教案:Horovod v0.2 介绍与使用

课程目标 了解Horovod的主要功能和优势。学习如何安装和配置Horovod。掌握Horovod在分布式训练中的应用。 教学内容 Horovod的简介和动机 动机 使单GPU训练脚本轻松扩展到多GPU训练。尽量减少代码修改以实现分布式训练。内部采用MPI模型,代码变动较少,…