Spark精华问答 | Spark做大规模高性能数值计算可以吗?

640?wx_fmt=png

Spark作为一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型,而且高效地支持更多的计算模式,在处理大规模数据集的时候,速度是非常重要的。Spark的一个重要特点就是能够在内存中计算,因而更快。即使在磁盘上进行的复杂计算,Spark依然比MapReduce更加高效。


640?wx_fmt=gif1

Q:Spark做大规模高性能数值计算可以吗?


A:Spark是高性能计算目前最佳的选择大数据计算平台;Spark的内存计算、快速迭代、DAG等都为大规模高性能数值计算提供了天然优势;尤其值得一提的Spark框架的编写使用Scala,应用程序开发也主要是Scala,而Scala是分布式多核编程的核心语言,其Function编程模型、Actor和并发的能力让大规模高性能数值计算如虎添翼;Spark配合Tachyon可以极大的提升大规模高性能数值计算的效率。


640?wx_fmt=gif2

Q:Spark sql可以代替hive和hbase吗?

        

A:Spark SQL可以取代Hive;Spark SQL可以完成HBase的大部分功能;Spark Streaming配合Spark SQL可以取代HBase。


640?wx_fmt=gif3

Q:一个worker上会有多个executor?executor个数是一个app一个吗?还是只有一个?

 

A:一个Worker会有多个executor,一个executor会运行多个task;一个executor只能为一个app实例服务,一个app可以有多个executor;Executor的配置要根据硬件和app处理的数据进行适当调优。


640?wx_fmt=gif4

Q:只有一台机器能学习吗?


A:只有一台机器学习Spark是没有问题的;在一台机器上,可以使用local模式运行Spark程序;在一台机器上也可以通过VMware等虚拟机机制虚拟出多台Linux机器,从而在多台机器上搭建集群。


640?wx_fmt=gif5

Q:Spark环境需要哪些? 除了HDFS基础,有Spark集成包么?

        

A:Spark的安装需要Hadoop的HDFS;Spark有自己的集成包,但是依旧需要HDFS的配合;同时Spark也可以部署到亚马逊云上。


640?wx_fmt=png

小伙伴们冲鸭,后台留言区等着你!

关于Spark,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


福利

1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


640?wx_fmt=jpeg

2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!


推荐阅读:

  • 在线公开课 | 从理论走向实践,多角度详解Cloud Native

  • 苹果春季发布会:库克绝不玩别人玩剩下的!

  • 中国区块链职业发展现状: 30岁前不做开发; 平均薪资仅38.4万; 跳槽薪资涨三成 (附完整报告下载资源)

  • 库克谈“唱衰苹果”:一派胡言!

  • 上海交大CV博导微信群辱骂学生,已停止教学

  • 李沐团队新作Gluon,复现CV经典模型到BERT,简单好用 | 强烈推荐

  • 日本乐天要求员工学编程,AI 进中小学课堂,全民编程时代来了!


640?wx_fmt=png真香,朕在看了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524346.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决Git Log在IDEA中乱码的问题

文章目录1. git bash2. 配置环境变量3. 效果图1. git bash 执行下面3条命令 文件提交编码格式 git config --global i18n.commitencoding utf-8这个主要就是log输出的编码格式 git config --global i18n.logoutputencoding utf-8界面编码格式 git config --global gui.enco…

IOS OpenGL ES GPUImage 强光混合 GPUImageHardLightBlendFilter

目录 一.简介二.效果演示三.源码下载四.猜你喜欢 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 基础 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 转场 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目…

细说说傲腾与哈娜的那些事儿

戳蓝字“CSDN云计算”关注我们哦!开门见山,今天我们谈谈傲腾与哈娜的“很多事儿”,嗯,也就是英特尔 傲腾™ 数据中心级持久内存与 SAP HANA 2.0 SPS 03啦!众所周知,SAP HANA 2.0 SPS 03 包含众多针对 SAP H…

The authenticity of host 'github.com (52.74.223.119)' can't be established.

The authenticity of host ‘github.com (52.74.223.119)’ can’t be established. 在初始化git之后(git init),同时在github建立好仓库之后,本地也新增了ssh kye(ssh-keygen -t rsa -C ‘mail address’&#xff09…

IOS OpenGL ES GPUImage 柔光混合 GPUImageSoftLightBlendFilter

目录 一.简介二.效果演示三.源码下载四.猜你喜欢 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 基础 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 转场 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目…

容器:开启应用微观时代

戳蓝字“CSDN云计算”关注我们哦!谈到数字化转型,大多数文章的表达方式大概都是“在时代从互联网进入产业互联网的背景下,所有行业都应该拥抱云计算、大数据和人工智能……”好像只要开出这三味药名就能药到病除。谈到容器与微服务&#xff0…

IOS OpenGL ES GPUImage 色度键混合 GPUImageChromaKeyBlendFilter

目录 一.简介二.效果演示三.源码下载四.猜你喜欢 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 基础 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 转场 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目…

SDN精华问答 | 为什么SDN要花这么长时间才被采用?

SDN火热了好一阵子,无论运营商、政府企业、投资机构,一段时间,不知道SDN、不能甩几个SDN相关的名词术语,似乎都落后于时代了。今天,就来看看关于SDN的精华问答吧。1Q:SDN将会提供端到端的IT基础设施可见性&…

idea报错Module Project1 must not contain source root ...\Project1\src. The root already belongs to m

选择modules,选择根模块,删除add content root 下面不直接属于根模块的目录即可

IOS OpenGL ES GPUImage 遮罩混合 GPUImageMaskFilter

目录 一.简介二.效果演示三.源码下载四.猜你喜欢 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 基础 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目录 >> OpenGL ES 转场 零基础 OpenGL (ES) 学习路线推荐 : OpenGL (ES) 学习目…

云有约 | 超融合的远航探险 看泽塔云2019年如何披荆斩棘?

戳蓝字“CSDN云计算”关注我们哦!作者:刘丹创业的艰辛不言而喻,在激烈的市场环境下,企业想要在一场场厮杀中站稳脚跟,光靠蛮干不行,关键还得用巧劲。2014年11月,北京泽塔云科技股份有限公司成立…

idea报Can’t Open Local Terminal

解决方案如下,按图操作: 操作后,效果图: 重启idea,问题解决!如图上所示。

IDEA Maven项目左边栏只能看到pom文件

1-1问题现象: 打开左侧Project窗口本应该显示项目结构,但是只显示项目文件看不到项目结构 1-2 解决方案: 在idea右上角点击file->>>>>project structure…–>>>>>>->Modules 2、点击右上角加号 -…

架构日趋复杂的今天,如何重构数据库和应用边界?

戳蓝字“CSDN云计算”关注我们哦!20年间,应用架构不断发生变化。从两层架构到多层架构,从集中式应用到分布式应用,应用架构的日趋复杂也带来了使用、开发维护方面的诸多问题……接下来,笔者将以亲身经历带你回顾20年来…

OpenGL 波浪特效

目录 一.OpenGL 波浪特效效果演示 1.IOS 演示效果2.Windows OpenGL ES 演示效果3.Windows OpenGL 演示效果 二.OpenGL 波浪特效源码下载 1.IOS Object-C 版本2.Windows OpenGL ES 版本3.Windows OpenGL 版本 三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 …

基于JVisualVM的可视化监控

监控本地的java进程 本小节我们介绍一下如何使用JDK自带的jvisualvm工具来监控本地的Java进程,该工具是一个图形化的监控工具。 jvisualvm官方文档地址如下: https://visualvm.github.io/documentation.html 一、介绍 VisualVM,能够监控线…

要闻君说:华为发布2018年年度报告:全球销售收入超千亿美元;微软”立誓“不过愚人节;大众与AWS一起做工业汽车云...

关注并标星星CSDN云计算每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 三位深度学习之父同获2018年图灵奖(图片来源网络)【3月29日 星期三】云の声音华为计划在英国剑桥大学建设芯片工厂,占地500英亩,在爱…

Windows OpenGL ES 波浪特效

目录 一.OpenGL ES 波浪特效效果演示 1.原始图片2.效果演示 二.OpenGL ES 波浪特效源码下载三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 基础 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 特效 零基础 …

jmap+MAT实战内存溢出

一、堆区和非堆区 前言: 如果发生内存溢出,主要是通过内存映像文件,来查看到底是那些类,一直在占有没有释放。 1.1 情况分析: 第一种内存溢出:有可能内存泄漏 第二种内存溢出:也有可能内存分…

Git 中文详细安装教程01(安装篇)

git官网:https://git-scm.com/ Step 1 Information Please read the following important information before continuing 继续之前,请阅读以下重要信息 Step 2 Select Destination Location 选择安装位置 Step 3 Select Components 选择组件 Step 4…