启动ipython内核发生错误_ipython3启动

Spark的安装分为几种模式,其中一种是本地运行模式,只需要在单节点上解压即可运行,这种模式不需要依赖Hadoop 环境。 运行 spark-shell 本地模式运行spark-shell非常简单,只要运行以下命令即可,假设当前目录是$SPARK_HOME $ MASTER=local $ bin/spark-shell MASTER=local就是表明当前运行在单机模式。如果一切顺利,将看到下面的提示信息: Created spark context.. Spark context available as sc. 这表明spark-shell中已经内置了Spark context的变量,名称为sc,我们可以直接使用该变量进行后续的操作。 spark-shell 后面设置 master 参数,可以支持更多的模式, 我们在sparkshell中运行一下最简单的例子,统计在README.md中含有Spark的行数有多少,在spark-shell中输入如下代码: scala>sc.textFile("README.md").filter(_.contains("Spark")).count 如果你觉得输出的日志太多,你可以从模板文件创建 conf/log4j.properties : $ mv conf/log4j.properties.template conf/log4j.properties 然后修改日志输出级别为WARN: log4j.rootCategory=WARN, console 如果你设置的 log4j 日志等级为 INFO,则你可以看到这样的一行日志 INFO SparkUI: Started SparkUI at http://10.9.4.165:4040,意思是 Spark 启动了一个 web 服务器,你可以通过浏览器访问 http://10.9.4.165:4040来查看 Spark 的任务运行状态等信息。 pyspark 运行 bin/pyspark 的输出为: $ bin/pyspark Python 2.7.6 (default, Sep 9 2014, 15:04:36) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin Type "help", "copyright", "credits" or "license" for more information. Spark assembly has been built with Hive, including Datanucleus jars on classpath Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-8 15/03/30 15:19:07 WARN Utils: Your hostname, june-mac resolves to a loopback address: 127.0.0.1; using 10.9.4.165 instead (on interface utun0) 15/03/30 15:19:07 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 15/03/30 15:19:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ / __/ _/ /__ / .__/\_,_/_/ /_/\_\ version 1.3.0 /_/ Using Python version 2.7.6 (default, Sep 9 2014 15:04:36) SparkContext available as sc, HiveContext available as sqlCtx. 你也可以使用 IPython 来运行 Spark: IPYTHON=1 ./bin/pyspark 如果要使用 IPython NoteBook,则运行: IPYTHON_OPTS="notebook" ./bin/pyspark 从日志可以看到,不管是 bin/pyspark 还是 bin/spark-shell,他们都有两个内置的变量:sc 和 sqlCtx。 SparkContext available as sc, HiveContext available as sqlCtx sc 代表着 Spark 的上下文,通过该变量可以执行 Spark 的一些操作,而 sqlCtx 代表着 HiveContext 的上下文。 spark-submit 在Spark1.0之后提供了一个统一的脚本spark-submit来提交任务。 对于 python 程序,我们可以直接使用 spark-submit: $ mkdir -p /usr/lib/spark/examples/python$ tar zxvf /usr/lib/spark/lib/python.tar.gz -C /usr/lib/spark/examples/python$ ./bin/spark-submit examples/python/pi.py 10 对于 Java 程序,我们需要先编译代码然后打包运行: $ spark-submit --class "SimpleApp" --master local[4] simple-project-1.0.jar Spark 运行模式 Spark 的运行模式多种多样、灵活多变,部署在单机上时,既可以用本地模式运行,也可以用伪分布式模式运行,而当以分布式集群的方式部署时,也有众多的运行模式可以供选择,这取决于集群的实际情况,底层的资源调度既可以依赖于外部的资源调度框架,也可以使用 Spark 内建的 Standalone 模式。对于外部资源调度框架的支持,目前的实现包括相对稳定的 Mesos 模式,以及还在持续开发更新中的 Hadoop YARN 模式。 在实际应用中,Spark 应用程序的运行模式取决于传递给 SparkContext 的 MASTER 环境变量的值,个别模式还需要依赖辅助的程序接口来配合使用,目前所支持的 MASTER 环境变量由特定的字符串或 URL 所组成。例如: Local[N]:本地模式,使用 N 个线程。 Local Cluster[Worker,core,Memory]:伪分布式模式,可以配置所需要启动的虚拟工作节点的数量,以及每个工作节点所管理的 CPU 数量和内存尺寸。 Spark://hostname:port:Standalone 模式,需要部署 Spark 到相关节点,URL 为 Spark Master 主机地址和端口。 Mesos://hostname:port:Mesos 模式,需要部署 Spark 和 Mesos 到相关节点,URL 为 Mesos 主机地址和端口。 YARN standalone/Yarn cluster:YARN 模式一,主程序逻辑和任务都运行在 YARN 集群中。 YARN client:YARN 模式二,主程序逻辑运行在本地,具体任务运行在 YARN 集群中。 运行 Spark 通过命令行运行 Spark ,有两种方式:bin/pyspark 和 bin/spark-shell。 运行 bin/spark-shell 输出的日志如下: $ ./bin/spark-shell --master local 你可以从模板文件创建 conf/log4j.properties ,然后修改日志输出级别: mv conf/log4j.properties.template conf/log4j.properties 修改 log4j.rootCategory 的等级为输出 WARN 级别的日志: log4j.rootCategory=WARN, console 如果你设置的 log4j 日志等级为 INFO,则你可以看到这样的一行日志 INFO SparkUI: Started SparkUI at http://10.9.4.165:4040 ,意思是 Spark 启动了一个 web 服务器,你可以通过浏览器访问 http://10.9.4.165:4040 来查看 Spark 的任务运行状态。 从日志可以看到,不管是 bin/pyspark 还是 bin/spark-shell,他们都有两个内置的变量:sc 和 sqlCtx。 SparkContext available as sc, HiveContext available as sqlCtx sc 代表着 Spark 的上下文,通过该变量可以执行 Spark 的一些操作,而 sqlCtx 代表着 HiveContext 的上下文。

“答案来源于网络,供您参考” 希望以上信息可以帮到您!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/296909.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Win11代言人官宣

微软宣布李现为中国市场的“微软零售全品牌大使”,代言全新 Windows 11、Surface 和 Microsoft 365 等产品。微软全新发布的 Windows 11 操作系统,简洁高效,带来耳目一新的视觉和使用体验全新升级的新一代 Surface Pro 8 惊艳上市&#xff0…

linux 硬盘报错日志,Linux内核I_O系统报错日志与硬盘故障对应关系

Linux 内核I/O 系统报错日志与硬盘故障对应关系Jun042011Leave a Comment Written by chen日志信息 故障现象描述与硬盘关系 scsi1: ERROR on channel 0, id 7, lun 0, CDB: Read (10) 00 73 fc 62 bf 00 00 80 00 Info fld0x73fc6326, Current sdi: sense key Medium Error Ad…

求余运算符

笔记摘自《极客学院》 求余运算(a % b)是计算b的多少倍刚刚好可以容入a,返回多出来的那部分(余数)。 注意:求余运算(%)在其他语言也叫取模运算。然而严格说来,我们看该运…

实习启航

两个月左右没有更新博客了,原因说了也白说,人是喜欢找原因的动物。这会造成很多假象,浪费很多时间,我喜欢向前看。说说近况吧。明天就要坐火车去深圳了,我从出生到现在就去过中国的3个省:武汉(出…

页面上指定类型的控件的样式添加

重构代码!由于不能用到skin所以在基类里面写了个加载样式的方法。 1 #region 初始化控件2 private void InitializeControls()3 {4 foreach (Control HtmlCon in this.Controls)5 {6 if (HtmlCon is HtmlForm)7 {8…

万箭齐发!COSCon' 21深圳分会场闪亮登场!

“ 点击蓝字 / 关注我们 ”| 作者:COSCon21 组委会| 编辑:钱奕| 设计:朱亿钦| 责编:沈于蓝01序言世界上最遥远的距离,不是生与死的距离,而是你在我对面办公楼,却不能一起嗨皮。辣么多个辗转反侧…

6部BBC “教材级” 地理纪录片,有生之年必看系列!

全世界只有3.14 % 的人关注了爆炸吧知识看BBC的纪录片,既可以追溯上下数千年的历史文化,也可以欣赏从宇宙到地心深处的奇妙境界,而及其超级精彩的画面即使定格,也是一幅摄影佳作。BBC纪录片题材广泛、制作精良,观看起来…

黑马c++32期_【每日一考】第40期:计提折旧

每天都有很多小伙伴来做会计实操每日一考实操君看到非常的欣慰,希望大家持续打卡学习请看今天的题▼▼▼单选题某企业的一辆运货卡车,其原价为600 000元,预计总行驶里程为500 000千米,预计报废时的净残值率为5%&#x…

linux挂载4t硬盘用不了,centos7挂载新加4T硬盘到/home目录

以下操作均在root环境下运行。1.查看硬盘# fdisk -l发现硬盘为/dev/sdb 大小4T2.如果此硬盘以前有过分区,则先对磁盘格式化:# mkfs -t ext4 /dev/sdb此命令会对整个磁盘格式化3.对新磁盘进行分区,由于fdisk仅支持2T以内磁盘分区,但…

8606 二叉树遍历的建设和运营

8606 二叉树遍历的建设和运营时限:1000MS 内存限制:1000K问题: 编程题 语言: 无限叙述性说明用二进制表示的名单二叉树结构:按第一个二进制序列,以便输入节点值(一个字符),#字符表示空树。构造二叉链表表示的二叉树…

XML的BOM

最近做一个XML的生成与导入功能,生成的XML经过语法验证和Schema验证,均无错误,编码方式也是所要求UTF-8,可是导入时却一直提示: Error on line 1 of document : Content is not allowed in prolog. Nested exception:…

关于C#中实现两个应用程序消息通讯的问题

最近项目中需要在两个应用程序之间通讯,这里的两个程序是在一台机器上,看了csdn上的一篇文章《如何在C#用WM_COPYDATA消息来实现两个进程之间传递数据》,原理是讲清楚了,但使起来很不爽,决定自己封装一下,满…

C#提升性能的几点提示和技巧

C#性能提示和技巧在Raygun[1],我们是一群非常懂多种语言的开发人员。Raygun的各个部分使用不同的语言和框架编写-最好的工作方式。鉴于大量的C#和我们正在处理的数据的爆炸性增长,在不同的时间需要进行一些优化工作。大部分重大的…

电脑睡眠快捷键_电脑快速进入睡眠的快捷键是什么?

电脑快速进入睡眠的快捷键是什么?正常情况下需要点击电源再按睡眠,小编觉得有点麻烦,如果你想要进入睡眠状态能够像锁屏快捷键那样就好了,那么今天就教大家如何设置睡眠快捷键,让你的电脑快速进入睡眠状态。我们知道电…

世界上最奇特的国界线,万万没想到...

全世界只有3.14 % 的人关注了爆炸吧知识你曾经可能多次在飞机上切换不同的国家,但未曾真的看见过这些国家之间的分界线。没见过之前,你脑海中的国界线是怎样的?一道高墙?还是一条无法逾越的鸿沟......看似正经而严谨,但…

Dell poweredge r210进BIOS修改磁盘控制器(SATA Controller)接口模式

Dell poweredge r210进BIOS修改磁盘控制器(SATA Controller)接口模式 开机后按F2键进入BIOS设置,如下图: BIOS设置主界面: 使用上下键移动光标到“SATA Controller”上,按回车键进入接口模式设置。 使用…

linux iptables导致httpd网页打不开

问题:httpd 服务已启动,80端口已开,但是网页就是打不开,重启服务器还是不行 忽然想看看log,记录如下: [Fri Jul 15 00:41:03 2011] [notice] SELinux policy enabled; httpd running as context root:syste…

二叉排序树与文件操作的设计与实现_堆排序就这么简单

一、堆排序介绍来源百度百科:堆排序(Heapsort)是指利用堆积树(堆)这种数据结构所设计的一种排序算法,它是选择排序的一种。可以利用数组的特点快速定位指定索引的元素。堆分为大根堆和小根堆,是完全二叉树。前面我已经…

extjs 前端js代码调用后台函数方法

前端javascript代码部分: Ext.Ajax.request( { url: /Process/SuspendWorkFlow, //配置的后台函数路由 params: { wfInsId: wf.WFInstanceID, status: cmd }, //对应函数的参数 success: function () { LaunchedWFGrid.store.reload(); Ext.Msg.show({ title: &qu…

linux卸载android studio,mac上完整卸载删除.简单粗暴无脑:androidstudio删除方案

如果你是mac ,你删除as ,删不干净也正常,你会发现安装的时候,前面的东西也在.配置文件在,会导致你以前的错误不想要的东西都在.废话不多说,复制粘贴就是干!!!!~~~~~~~~第一步: 复制粘贴就是干!!!!~~~~~~~~ 复制到命令行里面,直接回车就OKrm -Rf /Applications/Android\ Studi…