http://ihoge.cn/2018/Databrickes.html
摘要:本文带你畅游Databrickes Spark Clould
云服务。小白迅速上手大数据Spark开发环境,从此告别集群Bug
的烦恼,彻底解放物理机负担让你随时随地想Run
就Run
��。
目录:
- Databrickes是个啥?
- Databrickes注册
- Databrickes快速入门
- 其他进阶神操作
Databrickes是个啥?
YouTube简介,自备云梯
Databricks 属于 Spark 的商业化公司,由美国伯克利大学 AMP 实验室著名的 Spark 大数据处理系统多位创始人联合创立。Databricks 致力于提供基于 Spark 的云服务,可用于数据集成,数据管道等任务。
Databricks 公司的云解决方案由三部分组成:Databricks 平台、Spark 和 Databricks 工作区。该产品背后的理念是提供处理数据的单独空间,不受托管环境和 Hadoop 集群管理的影响,整个过程在云中完成。该产品有几个核心概念:由 Notebooks 提供一种与数据交互并构建图形的方法,当用户了解了显示数据的方式时,就可以开始构建主控面板以监视某些类型的数据。最后,用户可以通过该平台的任务启动器来规划 Apache Spark 的运行时间。
说白了就是Databricks
捞钱的,老是开源spark 也不收你钱,大家也要吃饭不是,干脆搞个 spark on cloud,服务懒人或小公司,你既不用搭建集群也不用维护,交点儿钱直接用他们提供的在线集群。当然还有一个作用,推广普及spark ,所以也就有了Community
版,即免费版
Databricks
相当于给你了一个在线spark 集群,即:Spark online
(听着怎么这么像网游 (⊙﹏⊙)b),我等尚处spark初级阶段的小白们刚好可以用他们提供的免费版来学习,省去了搭建和维护配置的过程,用来学习或温习Spark API真是完美!
(笔者比较懒,下面Databricks Spark Cloud
都用DSC
代替��)
话不多说,开搞!!!
注册Databricks
官网直达
Do you want to TRY DATACRICKS FREE?
Yeah, click here!
下面就是注册页面,不再啰嗦。注意的是左下角要进行人际身份验证,网络不好的童鞋请自备云梯��。然后验证邮箱,点击链接到登录界面:
��If you don't want to pay for money, pelese click here!
搭建云上Spark集群环境
入门指南
这货长这样~界面清爽颜值高,功能齐全效率高。
基本使用流程:
- 创建集群
没办法,笔者已经有一个集群在运行了,作为免费用户只能拥有一个活动集群,或者升级高级用户
��
2.创建nootebook
选择集群,选择语言,新建项目,凯撸~
创建笔记、加载依赖资源、创建文件夹
3.创建Table
上传本地数据,速度有点慢,耐心等待一会~��
任务流程可视化、数据可视化
自动生成任务阶段流程,生成DAG。
丰富的画图工具,只需点点点即可完成高颜值图表。
其他操作:
下面是重点!!
下面是重点!!
下面是重点!!
这里提供了丰富的适合不同场景的训练数据、源代码及简介。
只需找到
即可快速导入到工作台。只可惜自己英文太烂,啃的很慢������
DSC
不仅提供了方便高可用的云集群服务,而且提供了丰富的学习资料,对像我等来说简直是完美的产品。感谢各位大佬给我们提供了如此便捷的学习环境和资源,Life is short
,只争朝夕!
油管视频自备云梯
原文地址,转载注明出处http://ihoge.cn/2018/Databrickes.html
人工智能、机器学习、大数据更多精彩内容请点击