OpenShift Origin中的Kubernetes Spark运算符(第1部分)

本系列有关Radanalytics.io的Kubernetes Spark运算符
OpenShift起源 。 它是一个开源的运营商来管理
Apache Spark集群和应用程序。 为了在OpenShift Origin上部署操作员,第一次需要为其克隆GitHub存储库:

git clone https://github.com/radanalyticsio/spark-operator.git

然后使用OpenShift命令行登录到集群
oc

oc login -u <username>:<password>

假设像我和我的团队以前在OpenShift Origin环境中一样,开发人员没有创建CRD的权限,则需要使用Config Maps,因此必须使用
克隆存储库中提供的operator-com.yaml文件:

oc apply -f manifest/operator-cm.yaml


上面命令的输出应类似于以下内容:

serviceaccount/spark-operator created
role.rbac.authorization.k8s.io/edit-resources created
rolebinding.rbac.authorization.k8s.io/spark-operator-edit-resources created

成功创建操作员后,您可以尝试创建第一个集群。 选择您要使用的特定项目:

oc project <project_name>

然后使用克隆存储库中可用的ConfigMap的示例文件创建一个小型Spark集群(1个主服务器和2个工作器):

oc apply -f examples/cluster-cm.yaml

这是该文件的内容:

apiVersion: v1
kind: ConfigMap
metadata:name: my-spark-clusterlabels:radanalytics.io/kind: SparkCluster
data:config: |-worker:instances: "2"master:instances: "1"

上面命令的输出是:

configmap/my-spark-cluster created

成功创建集群后,查看OpenShift Web UI,情况应为:

火花运算符

要访问Spark Web UI,您需要为其创建路由。 可以通过OpenShift Origin UI来执行此操作,方法是选择Spark服务,然后单击
路线链接。 一旦创建了路由,就可以从OpenShift外部访问主服务器和工作服务器的Spark Web UI。

火花运算符

现在,您可以使用Spark集群。 您可以通过进入主Pod控制台,在此处启动Scala Spark shell并执行一些代码来开始对其进行测试:

火花运算符

在本系列的第二部分中,我们将在转到Spark应用程序管理之前探索Spark运算符的实现和配置详细信息。

翻译自: https://www.javacodegeeks.com/2019/05/kubernetes-spark-operator-openshift-origin.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/342131.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

什么是模拟光端机?模拟光端机优缺点介绍!

模拟光端机是光端机的一种&#xff0c;主要是采用模拟调频、调幅、调相的方式将基带的视频、音频、数据等信号调制在某一载频上&#xff0c;通过发射光端机进行传输。传输的光信号&#xff1a;模拟光端机发射的光信号是模拟光调制信号&#xff0c;它随输入的模拟载波信号的幅度…

30路电话光端机

30路电话光端机就是把传统的电话信号转换成光信号并在光纤上传输的设备。30电话光端机是成对使用&#xff0c;一端去接程控交换机&#xff0c;中间是通过光纤传输&#xff0c; 另一端直接接使用电话机&#xff0c;一般是用来延长通信距离的&#xff01; 30路电话光端机采用的专…

工厂方法设计模式

工厂方法模式是流行的创新设计模式之一。 它并不特别依赖于工厂对象来创建对象。 相反&#xff0c;其想法是在同一类中使用单独的方法来创建对象。 Factory Method模式定义了一个用于创建对象的接口&#xff0c;但是让子类决定如何实例化其对象。 每个子类必须定义其Factory方…

为什么单模光端机价格比多模光端机价格高

光端机的传输媒介为光纤&#xff0c;这个问题要从了解光纤光缆开始。目前常用的光纤有两大类&#xff1a;多模光纤和单模光纤。 以多模光纤制成的光缆是最早投入商用的光缆&#xff0c;由于存在色散严重、衰耗大、可用带宽窄、成本高等问题&#xff0c;已经退出了作为光缆主战…

PDH光端机常见故障及解决方法介绍

在PDH光端机的使用过程中&#xff0c;可能会出现一些影响网络的故障。那么我们该怎么去判断分析&#xff0c;并解决问题呢&#xff1f;下面&#xff0c;飞畅科技就几种PDH光端机常见故障做出分析&#xff0c;希望能帮到大家。 PDH光端机的故障可分为永久性故障和间断性故障。永…

[渝粤教育] 义乌工商职业技术学院 Python程序设计 参考 资料

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…

PDH光端机的作用及其特点

PDH光端机&#xff08;Plesiochronous Digital Hierarchy&#xff09;&#xff0c;准同步数字传输系列系统。PDH光端机是小容量光端机&#xff0c;PDH光端机一般是成对应用&#xff0c;也叫点到点应用。容量一般为4E1&#xff0c;8E1&#xff0c;16E1。那么&#xff0c;PDH光端…

SDH光端机的应用介绍

光端机&#xff0c;就是光信号传输的终端设备。光端机从接口分类应为电话光端机&#xff0c;视频光端机&#xff0c;音频光端机&#xff0c;数据光端机&#xff0c;以太网光端机&#xff0c;光端机分3类&#xff1a;PDH&#xff0c;SPDH&#xff0c;SDH。 SDH&#xff08;Sync…

光纤转CAN总线在消防报警主机联网中的应用

火灾是人们不得不防范的一种灾害&#xff0c;它危及人们的生命安全&#xff0c;因此提前做好消防预警工作就十分必要了。在消防报警系统网络中&#xff0c;主要由两部分组成&#xff1a;火灾探测器和火灾报警器。在需要监视火灾的现场安装上火灾探测器&#xff0c;用于监测是否…

[渝粤教育] 信阳农林学院 鱼类学 参考 资料

教育 -鱼类学-章节资料考试资料-信阳农林学院【】 第一节随堂练习 1、【判断题】文昌鱼属于鱼类&#xff1f; A、正确 B、错误 参考资料【 】 鱼类的外部 鱼类的外表 1、【单选题】眼的后下方到前鳃盖骨的后缘的部分为______ A、峡部 B、咽部 C、 颊部 D、颐部 参考资料【 】 2…

几种常见的电话光端机连接图以及电话光端机的连接方式

现如今&#xff0c;随着科技的进步和信息的发达&#xff0c;带动了通信电子、计算机等行业的快速发展&#xff0c;各种通信电子类产品在不断的精密化&#xff0c;集成度也在不断的提高。那在我们的光端机行业中&#xff0c;这样的趋势也是很大&#xff0c;比如有电话光端机&…

[渝粤教育] 兰州城市学院 翻转课堂教学法 参考 资料

教育 -翻转课堂教学法-章节资料考试资料-兰州城市学院【】 课程学习建议&#xff1a;请仔细阅读确认这些要求你都知道且已完成 1、【单选题】如果你在爱课程网和网易云课堂都做过注册&#xff0c;那么你就会有两个账号&#xff0c;即使两个账号的注册邮箱&#xff08;用户名&am…

Java开发趋势:2019年展望

在这篇文章中&#xff0c;我们将发表一篇有关2019年Java开发趋势的综合文章。您是否知道Java自上世纪问世以来&#xff0c;现在已在100亿个设备上运行 &#xff1f; 它是数十年来最受欢迎的编码语言&#xff0c;但在最近几个月中&#xff0c;Java经历了一些重要的变化 。 它被投…

[渝粤教育] 南通大学 模拟电子技术 参考 资料

教育 -模拟电子技术-章节资料考试资料-南通大学【】 1.2-1.3 随堂练习 1、【单选题】根据信号的连续性和离散性分析&#xff0c;水银温度计显示的温度值属于&#xff08; &#xff09;。 A、时间连续&#xff0c;数值连续 B、 时间离散&#xff0c;数值连续 C、时间连续&#x…

怎么来判断光端机产品的性能优劣?光端机的产品性能有哪些?

现如今&#xff0c;随着国内通信技术领域的不断突破以及对于光端机产品的需求提高&#xff0c;国内涌现了非常多的光端机厂家&#xff0c;但是各个厂家生产的光端机产品质量相差还是很大的&#xff0c;那么&#xff0c;我们在选购光端机产品的时候&#xff0c;应该如何来判断光…

[渝粤教育] 四川农业大学 计算机网络 参考 资料

教育 -计算机网络-章节资料考试资料-四川农业大学【】 随堂测验 1、【单选题】以下哪一项不属于物联网的实现基础 A、可穿戴设备 B、RFID C、APP D、蓝牙 参考资料【 】 2、【单选题】以下哪一项不是解决网络安全问题的因素 A、 安全技术 B、法律法规 C、道德自律 D、多种应用 …

[渝粤教育] 四川大学 模拟电子技术基础Ⅰ 参考 资料

教育 -模拟电子技术基础Ⅰ-章节资料考试资料-四川大学【】 绪论测验题 1、【单选题】当输入信号频率为fL或fH时&#xff0c;放大电路电压增益的幅值约下降为通带内水平增益的 。 A、0.5倍 B、0.7倍 C、0.9倍 D、1倍 参考资料【 】 2、【单选题】某放大电路在负载开路时的输出电…

[渝粤教育] 天津大学 21 秋 物理化学2B(李松林,侯德榜) 参考 资料

教育 -21 秋 物理化学2B&#xff08;李松林&#xff0c;侯德榜&#xff09;-章节资料考试资料-天津大学【】 原电池 1、【判断题】自发进行的化学反应在原电池中进行时&#xff0c;将电能转化为化学能。 A、正确 B、错误 参考资料【 】 法拉第定律 1、【单选题】用铜电极电解水…

光端机的原理和使用范围

数字音频光端机在通信系统中可以说是应用非常广泛&#xff0c;特别是在安防系统、智能交通监控系统、远程多媒体教学/ 校园监控、长距离广播电视传输系统、楼宇控制系统等&#xff0c;可以说我们的日常通讯是离不开音频光端机的。接下来杭州飞畅的小编就来为大家详细介绍下音频…

光端机的作用有哪些?

光端机是一个延长数据传输的光纤通信设备。光端机一般成对使用&#xff0c;分为光发射机和光接收机&#xff0c;光发射机完成电光转换&#xff0c;并把光信号发射出去用于光纤传输&#xff1b;光接收机主要是把从光纤接收的光信号再还原为电信号&#xff0c;完成光电转换。那么…