SparkContext: Error initializing SparkContext解决方法

SparkContext: Error initializing SparkContext解决方法

Spark在配置高可用集群中，出现报错
ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: Connection refused;

这是因为我们配置了Spark日志存储在HDFS中，但是在开启Spark集群后，却没有打开Hadoop，造成提交任务时报错。

解决方案：

  1. 不再存储事件日志
    找到Spark安装目录/conf/spark-defaults.conf文件，如图所示，注释掉相应事件日志部分
    在这里插入图片描述
  2. 将事件日志存在本地，而非HDFS中
    将上图中第二行的目录替换为Linux本地目录
  3. 启动Hadoop集群（即HDFS服务）
    究其出错原因，还是我们配置了spark日志存储于HDFS中，但是缺没有打开HDFS，所以开启Hadoop集群即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/263050.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

tomcat 绑定 ip 及域名，限制非法域名访问

tomcat 绑定 ip 及域名，限制非法域名访问

公司WEB 采用linuxtomcat架构。经常会收到电信的警告，说某个IP下挂用了未备案域名，如果不处理就封IP。鉴于此，需要将tomcat的访问地址进行限制，只允许通过IP地址或者自己指定的域名来访问。配置tomcat/conf/server.xml 文件&#…
阅读更多...
数据库设计(四)概念数据模型

数据库设计(四)概念数据模型

目标：本文主要介绍如何定义实体的主、次标识符。一、标识符标识符是实体中一个或多个属性的集合，可用来唯一标识实体中的一个实例。要强调的是，CDM中的标识符等价于PDM中的主键或候选键。每个实体都必须至少有一个标识符。如果实体只有一个标…
阅读更多...
error C2471和error C1083

error C2471和error C1083

error C2471和error C1083 VS2008IDE：编译时出现问题：error C2471: 无法更新程序数据库“d:\my documents\visual studio 2008\projects\mdib\mdib\debug\vc90.pdb”error C1083: 无法打开程序数据库文件:“d:\my documents\visual studio 2008\projects…
阅读更多...
中文/英文换行总结

中文/英文换行总结

html部分 <div class"parent"><p class"p1">湿哒哒大的大大大的大的大大大的大的啊啊大大大啊大大打啊打大大大</p><p class"p2">湿哒哒大的大大大的大的大大大的大的啊啊大大大啊大大打啊打大大大</p><p clas…
阅读更多...
Go学习笔记—基于Go的进程间通信

Go学习笔记—基于Go的进程间通信

IPC&#xff08;Inter-Process Communication 进程间通信&#xff09; 一般方法&#xff1a;(1) 半双工Unix管道 (2) FIFOs(命名管道) (3) 消息队列 (4) 信号量 (5) 共享内存 (6) 网络Socket (7) RPC(远程过程调用) &#xff08;一&#xff09;管道&#xff08;Pipe&#xff…
阅读更多...
rsync+lsyncd实现（本地以及远程）文件实时同步

rsync+lsyncd实现（本地以及远程）文件实时同步

lsyncd基于lua语言开发&#xff0c;整合了rsync和notify 实现文件的实时同步 系统环境cat /etc/issue CentOS release 6.6 (Final)uname -sr Linux 2.6.32-504.el6.x86_64 服务器规划 rsync服务器&#xff1a; 192.168.10.241 rsync lsyncd服务器 &#xff…
阅读更多...
萨蒂扬软件技术（南京）研发中心”落户高新区

萨蒂扬软件技术（南京）研发中心”落户高新区

萨蒂扬软件技术&#xff08;南京&#xff09;研发中心”落户高新区 2007-02-12“中国软件名城”成为南京吸引世界软件巨头强磁场“萨蒂扬软件技术&#xff08;南京&#xff09;研发中心”落户高新区 世界知名的印度软件企业巨头萨帝扬计算机服务有限公司挥师江苏亮出精彩第一笔…
阅读更多...
JavaScript常用正则表达式收集

JavaScript常用正则表达式收集

JavaScript常用正则表达式收集 ---------------------------------------------------------------------------------------- 正则的用法参见&#xff1a;http://blog.csdn.net/xxj_jing/article/details/6977078 下面是个简单判断　1.匹配中文字符 2.匹配特殊字符(符合 wind…
阅读更多...
Go学习笔记—多线程

Go学习笔记—多线程

多线程编程 ​ 一个进程可以包含多个线程&#xff0c;这些线程运行的一定是同一个程序&#xff08;进程程序&#xff09;&#xff0c;且都由当前进程中已经存在的线程通过系统调用的方式创建出来。进程是资源分配的基本单位&#xff0c;线程是调度运行的基本单位&#xff0c;线…
阅读更多...
maven必知必会

maven必知必会

目录 了解mavenmaven的作用maven仓库本地配置添加远程仓库依赖搜索顺序定制包到本地仓库pom文件依赖管理原则构建声明周期插件了解maven maven的作用 maven采取约定大于配置的原则,规范了一套标准的javaweb项目结构maven提供了完备的包管理功能,不用到处找jar包了maven提供了一…
阅读更多...
lecture 4 : More Objective-C

lecture 4 : More Objective-C

Creating Objects 这件事困扰我一点时间了&#xff0c;ObjC没有一个Constructor的概念 而在Create Objects这件事上既有用过自己写的-init&#xff0c;还return instancetype&#xff0c;大概这个&#xff0c;也有用过一些Class Method&#xff0c;就是明确知道是id类型的&…
阅读更多...
对象实体 参考标准

对象实体 参考标准

1usingSystem;2usingSystem.Data;34namespaceFramework.Components5{ 6 /**//// <summary> 7 /// 公告通知实体 8 /// </summary> 9 public class NoticeInfo 10 { 11 基础信息-------------------------------------------------------…
阅读更多...
SerialPort comstat is being used without defining

SerialPort comstat is being used without defining

Run-Time Check Failure #3 - The variable comstat is being used without being initialized. 参考&#xff1a;http://blog.sina.com.cn/s/blog_5d2412000100ojx3.html 方案1: 改变项目配置属性 一种解决方案是改变基本运行时检查&#xff08;changing the runtime checks i…
阅读更多...
Leetcode:27. 移除元素

Leetcode:27. 移除元素

力扣题目链接 解题思路 首先很容易想到暴力解法,用两个for循环,第一个for循环用来遍历整个数组,第二个for循环用来更新数组.但这种解法的时间复杂度为O(n^2) 因此考虑双指针思想,通过一个快指针和慢指针在一个for循环下完成两个for循环的任务,其中,快指针用来寻找新的元素,即…
阅读更多...
【原】简单shell练习（四）

【原】简单shell练习（四）

1.查看已开启端口信息 #ss -ln 2.列出谁在使用某个端口&#xff08;如&#xff1a;80&#xff09; #lsof -i:80 3.显示文件夹下文件信息 #find /home/root -type f#find -type f 4.磁盘大小信息 #df -h #du -sh * 5.查看一个文件夹下文件总个数 # ls -l |wc -l 6.查看进程是否…
阅读更多...
JavaScriptWindow使用对象

JavaScriptWindow使用对象

窗口对象的属性和方法&#xff1a;格式&#xff1a;[window.]属性[window.]方法&#xff08;参数&#xff09;opener.属性opener.方法&#xff08;参数&#xff09;self.属性self.方法&#xff08;参数&#xff09;parent.属性parent.方法&#xff08;参数&#xff09;top.属性…
阅读更多...
无法在web服务器上启动调试 您不具备调试此应用程序的权限

无法在web服务器上启动调试 您不具备调试此应用程序的权限

一般用下面的方法可以解决: 1&#xff1a;确认在“配置属性”中的“启用ASP.NET调试"为"True" 2&#xff1a;确认你的"web.config"中的"debugtrue" 3&#xff1a;若你安装过Win2000 SP4后&#xff0c;则要在命令行执行"regsvr32 i asp…
阅读更多...
Go学习笔记—Go并发基础

Go学习笔记—Go并发基础

Go并发基础 并行&#xff1a;程序在任意时刻内都是同时运行的 并发&#xff1a;程序在单位时间内都是同时运行的 ​扇入&#xff1a;多条通道聚合到一条通道中&#xff08;select聚合&#xff0c;加密解密服务&#xff09; ​扇出&#xff1a;一条通道发散到多条通道中&#x…
阅读更多...
史蒂夫乔布斯6月斯坦佛大学演讲: 必须找到你所钟爱的东西

史蒂夫乔布斯6月斯坦佛大学演讲: 必须找到你所钟爱的东西

博客搬家咯&#xff5e; http://joeleee.github.io/ 博客搬家咯&#xff5e; http://joeleee.github.io/ 博客搬家咯&#xff5e; http://joeleee.github.io/ 关于如何将生命中的点点滴滴串联起来&#xff0c;关于爱和损失&#xff0c;关于死亡&#xff0c;乔布斯如是说. h1 ! …
阅读更多...
博客园贵团队可以给个解释么？

博客园贵团队可以给个解释么？

发表了一片文章&#xff0c;被博客园团队移除出首页&#xff0c;自认为没有违反规定&#xff0c;于是回复该消息&#xff0c;想询问原因&#xff0c;但是一直没得到回复&#xff0c;请问这是为什么呢&#xff0c; 为什么那么久了还是未读状态&#xff0c;为什么从来不给回复&am…
阅读更多...
最新文章

Copyright @ 2022~2023