OpenShift Origin中的Kubernetes Spark运算符(第1部分)

本系列有关Radanalytics.io的Kubernetes Spark运算符
OpenShift起源 。 它是一个开源的运营商来管理
Apache Spark集群和应用程序。 为了在OpenShift Origin上部署操作员,第一次需要为其克隆GitHub存储库:

git clone https://github.com/radanalyticsio/spark-operator.git

然后使用OpenShift命令行登录到集群
oc

oc login -u <username>:<password>

假设像我和我的团队以前在OpenShift Origin环境中一样,开发人员没有创建CRD的权限,则需要使用Config Maps,因此必须使用
克隆存储库中提供的operator-com.yaml文件:

oc apply -f manifest/operator-cm.yaml


上面命令的输出应类似于以下内容:

serviceaccount/spark-operator created
role.rbac.authorization.k8s.io/edit-resources created
rolebinding.rbac.authorization.k8s.io/spark-operator-edit-resources created

成功创建操作员后,您可以尝试创建第一个集群。 选择您要使用的特定项目:

oc project <project_name>

然后使用克隆存储库中可用的ConfigMap的示例文件创建一个小型Spark集群(1个主服务器和2个工作器):

oc apply -f examples/cluster-cm.yaml

这是该文件的内容:

apiVersion: v1
kind: ConfigMap
metadata:name: my-spark-clusterlabels:radanalytics.io/kind: SparkCluster
data:config: |-worker:instances: "2"master:instances: "1"

上面命令的输出是:

configmap/my-spark-cluster created

成功创建集群后,查看OpenShift Web UI,情况应为:

火花运算符

要访问Spark Web UI,您需要为其创建路由。 可以通过OpenShift Origin UI来执行此操作,方法是选择Spark服务,然后单击
路线链接。 一旦创建了路由,就可以从OpenShift外部访问主服务器和工作服务器的Spark Web UI。

火花运算符

现在,您可以使用Spark集群。 您可以通过进入主Pod控制台,在此处启动Scala Spark shell并执行一些代码来开始对其进行测试:

火花运算符

在本系列的第二部分中,我们将在转到Spark应用程序管理之前探索Spark运算符的实现和配置详细信息。

翻译自: https://www.javacodegeeks.com/2019/05/kubernetes-spark-operator-openshift-origin.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/342131.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【渝粤教育】国家开放大学2019年春季 1312学前教育原理 参考试题

试卷代号&#xff1a;1312 学前教育原理 试题 2019年7月 一、单项选择题【每小题3分&#xff0c;共30分&#xff09; 1.学前教育学是以&#xff08; &#xff09;和学前教育问题为对象的一个研究领域。 A.幼儿园 B.学前教育现象 C.学前教育目的 D.学前教育规律 2.教育的目的不仅…

什么是模拟光端机?模拟光端机优缺点介绍!

模拟光端机是光端机的一种&#xff0c;主要是采用模拟调频、调幅、调相的方式将基带的视频、音频、数据等信号调制在某一载频上&#xff0c;通过发射光端机进行传输。传输的光信号&#xff1a;模拟光端机发射的光信号是模拟光调制信号&#xff0c;它随输入的模拟载波信号的幅度…

支付宝通知侦听器是什么_使用SWTEventHelper清除SWT侦听器通知

支付宝通知侦听器是什么为基于SWT的UI编写测试通常需要以编程方式通知小部件侦听器。 不幸的是&#xff0c;用于创建&#xff0c;初始化并最终触发事件的代码有点冗长&#xff0c;并且分散了测试的实际目的。 在编写了类似的初始化例程几次之后&#xff0c;我想出了一个小实用程…

【渝粤教育】国家开放大学2019年春季 2080现代教育思想 参考试题

试卷代号&#xff1a;2080 现代教育思想 试题&#xff08;开卷&#xff09; 注意事项 2019年7月 一、将你的学号、姓名及分校&#xff08;工作站&#xff09;名称填写在答题纸的规定栏内。考试结束后&#xff0c;把试卷和答题纸放在桌上。试卷和答题纸均不得带出考场。监考人收…

30路电话光端机

30路电话光端机就是把传统的电话信号转换成光信号并在光纤上传输的设备。30电话光端机是成对使用&#xff0c;一端去接程控交换机&#xff0c;中间是通过光纤传输&#xff0c; 另一端直接接使用电话机&#xff0c;一般是用来延长通信距离的&#xff01; 30路电话光端机采用的专…

【渝粤教育】国家开放大学2019年春季 2502学前儿童发展心理学 参考试题

试卷代号&#xff1a;2502 2 0 1 9年春季学期期末统一考试 学前儿童发展心理学 试题&#xff08;半开卷&#xff09; 2019年7月 一、选择题&#xff08;每小题2分&#xff0c;共20分&#xff09; 1&#xff0e;以时间为标准&#xff0c;在同一时间对某个年龄组或几个年龄组的儿…

工厂方法设计模式

工厂方法模式是流行的创新设计模式之一。 它并不特别依赖于工厂对象来创建对象。 相反&#xff0c;其想法是在同一类中使用单独的方法来创建对象。 Factory Method模式定义了一个用于创建对象的接口&#xff0c;但是让子类决定如何实例化其对象。 每个子类必须定义其Factory方…

【渝粤教育】国家开放大学2019年春季 2767养猪技术 参考试题

试卷代号&#xff1a;2767 养猪技术 试题 2019年7月 一、单项选择题&#xff08;每小题3分&#xff0c;共30分&#xff09; 1&#xff0e;下列不属于生产瘦猪肉的品种是( )。 A.长白猪 B&#xff0e;太湖猪 C&#xff0e;汉普夏猪 D&#xff0e;杜洛克猪 2&#xff0e;母猪的妊…

为什么单模光端机价格比多模光端机价格高

光端机的传输媒介为光纤&#xff0c;这个问题要从了解光纤光缆开始。目前常用的光纤有两大类&#xff1a;多模光纤和单模光纤。 以多模光纤制成的光缆是最早投入商用的光缆&#xff0c;由于存在色散严重、衰耗大、可用带宽窄、成本高等问题&#xff0c;已经退出了作为光缆主战…

【渝粤教育】国家开放大学2019年春季 49法律文书 参考试题

试卷代号&#xff1a;0049 座位号 2018——2019学年度第二学期期末考试 法 律 文 书 试 题 2019年7月 答题框&#xff1a; 依不同的制作方式为划分标准&#xff0c;可分为和____&#xff1f; A&#xff0e; 宣告式文书、致送式文书、信函式文书 B&#xff0e; 文叙式文书、信…

【渝粤教育】国家开放大学2019年春季 776员工招聘与管理 参考试题

试卷编号&#xff1a;0776 座位号 2018—2019年度第二学期期末考试 员工招聘与管理 试题 一、单选题&#xff08;请选出下面选项中唯一正确的答案,每小题2分&#xff0c;共20分&#xff09; 请将选择题答案填在以下表格中。 1&#xff0e;下列选项中&#xff0c;哪个选项不属…

PDH光端机常见故障及解决方法介绍

在PDH光端机的使用过程中&#xff0c;可能会出现一些影响网络的故障。那么我们该怎么去判断分析&#xff0c;并解决问题呢&#xff1f;下面&#xff0c;飞畅科技就几种PDH光端机常见故障做出分析&#xff0c;希望能帮到大家。 PDH光端机的故障可分为永久性故障和间断性故障。永…

[渝粤教育] 义乌工商职业技术学院 Python程序设计 参考 资料

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…

java 文件流读取文本_如何在Java 8中处理流和读取文本文件

java 文件流读取文本我已经使用最新的Java8转换了一个旧的实用程序类。 我经常使用它来打印清单文件的内容&#xff0c;以检查任何神秘的jar文件的版本等。只需运行“ java ztools.PrintJar /path/to/my.jar”即可查看输出。 在新代码中&#xff0c;您将看到我如何使用Java 8流…

[渝粤教育] 九江学院 妇产科护理学 参考 资料

教育 -妇产科护理学-章节资料考试资料-九江学院【】 卵巢的周期性变化 女性生殖系统生理测验 1、【单选题】黄体发育的高峰期是 A、排卵前5-6天 B、排卵后5-6天 C、排卵前7-8天 D、排卵后7-8天 参考资料【 】 2、【单选题】生殖生理的叙述下列哪项是正确的 A、月经来潮时女性的…

PDH光端机的作用及其特点

PDH光端机&#xff08;Plesiochronous Digital Hierarchy&#xff09;&#xff0c;准同步数字传输系列系统。PDH光端机是小容量光端机&#xff0c;PDH光端机一般是成对应用&#xff0c;也叫点到点应用。容量一般为4E1&#xff0c;8E1&#xff0c;16E1。那么&#xff0c;PDH光端…

[渝粤教育] 九江学院 看影视学社交礼仪 参考 资料

教育 -看影视学社交礼仪-章节资料考试资料-九江学院【】 第一单元测试 1、【单选题】证券公司的主面试官问前来参加面试的Chris Gardner ”克里斯&#xff0c;如果有一个应聘者连正经的衬衣都没有穿&#xff0c;而我却录取了他&#xff0c;你会怎么看。” 他说这话的原意是&…

[渝粤教育] 九江职业技术学院 客户关系管理 参考 资料

教育 -客户关系管理-章节资料考试资料-九江职业技术学院【】 1.5项目测试 1、【单选题】CRM是指&#xff08; &#xff09;。 A、客户关系管理 B、企业资源计划 C、供应链管理 D、人力资源管理 参考资料【 】 2、【单选题】( )第一个提出了CRM的概念。 A、Gartner Group B、IBM…

SDH光端机的应用介绍

光端机&#xff0c;就是光信号传输的终端设备。光端机从接口分类应为电话光端机&#xff0c;视频光端机&#xff0c;音频光端机&#xff0c;数据光端机&#xff0c;以太网光端机&#xff0c;光端机分3类&#xff1a;PDH&#xff0c;SPDH&#xff0c;SDH。 SDH&#xff08;Sync…

[渝粤教育] 云南大学 大学生心理健康教育 参考 资料

教育 -大学生心理健康教育-章节资料考试资料-云南大学【】 第一章心理健康知多少——大学生心理健康导论 单元测验 1、【单选题】人的心理活动过程认知过程、情绪过程和以下哪个过程&#xff1f; A、思维过程 B、心理过程 C、意志过程 D、注意过程 参考资料【 】 2、【单选题】…