【大数据学习笔记】新手学习路线图

第1阶段-数据仓库基

 1.MysQL关系型数据库

(MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表、MySQL综合案例、MySQL性能优化)

2.Python编程技术

(Python基础语法、Python循环、Python集合、Python函数、Python面向对象、Python操作各种数据库介绍)

第2阶段-Linux &Hadoop

1.Hadoop

(大数据介绍、Hadoop三件套、HDFS系统架构、HDFS之Block、HDFS之FSImage和Edits
HDFS之Checkpoint、HDFS的读和写流程、HDFS的Shell操作、YARN系统架构、YARN的资源调度策略、YARN的调度配置、基于YARN的作业提交)

2.Linux操作系统

(命令操作、权限管理、软件安装、系统内核剖析)

3.Shell脚本编程

(shell介绍、Shell基础语法、Shell高级语法、Shell编程案例)
 

第3阶段-数据仓库与ETL技术

1.Hive

(Hive的介绍、Hive安装部署、Hive元数据、Hive内外部表、Hive数据类型、Hive基础SQL、Hive分区、Hive分桶、Hive高级SQL、Hive常用自带函数、Hive窗口函数、Hive自定义函数)

2.Datax

(DataX30概览、DataX3.0框架设计、DataX3.0插件体系、DataX3.0核心架构DataX3.0六大优势、DataX的Reader插件、DataX的Writer插件、DataX数据同步案例、DataX数据同步优化)

3.Hue

(Hue概述、Hue系统架构、Hue连接器、Hue编辑器、Hue操作)

4.ClickHouse

(特征与性能、集群安装部署、集群基础操作、数据类型、ClickHouse的库表引擎、ClickHouse常见函数、Column、Field和DataType、Block与Block流、Parser与lnterpreter、分片与副本、客户端工具)

5.DolphinScheduler

(DolphinScheduler介绍、DolphinScheduler特性、DolphinScheduler系统架构、DolphinScheduler启动流程、DolphinScheduler架构设计思想、DolphinScheduler安装部署、DolphinScheduler调度项目、DolphinScheduler调度任务)

6.数据仓库技术

(数据仓库概述、数据仓库架构、数据建模、事实表和维度表、主题域与主题、拉链表、多维体系结构、数据仓库规范、元数据管理、离线与实时数据仓库)

7.零售数据仓库项目

(项目介绍、技术架构、项目架构、项目流程、项目实施与部署)

8.Flume

(Flume介绍、Flume系统架构、Flume组件、Flume的Source、Flume的Channel、Flume的Sink、Flume的拦截器、Flume的选择器、Flume案例、Flume优化)

9.SparkSQL

(Spark介绍、SparkSQL介绍、SparkSQL的数据抽象、SparkSQL数据装载、SparkSQL数据落地、SparkSQL自带函数、SparkSQL自定义函数、SparkSQL与Hive整合、SparkSQL底层运行流程)
 

第4阶段-BI数据分析与可视化

1.零售BI数据平台项

(项目介绍、项目技术、项目流程、项目研发与实施)

2.Superset

(Superset概览、Superset安装部署、Superset数据源、Superset的Charts、Superset的Dashboards、Superset的SOL-Lab、Superset地图可视化、Superset报表案例、Superset大屏案例、Superset权限管理)

3.FineBI&FineReport

(帆软介绍、安装部署与启动、初始化设置、初识FineBI、FineBI俗语、FineBI与数据源整合、数据加工、构建图表与数据分析、仪表板及其分享、函数应用、数据分析模型、数据处理与计算、表格与图表组件交互与组件联动、数据跳转与钻取、数据切片与筛选)
 

 第5阶段-项目自研

1.自研数据仓库项目

(自研数据仓库项目、云学习大数据平台项目、云学习用户画像项目、电商大数据平台项目、问答大数据平台)

 第6阶段-专题拓展

1.数据质量与治理专题

(数据质量介绍、数据治理介绍、元数据管理介绍、数据血缘介绍、基于DolphinScheduler的质量案例、基于Atlas的数据质量与治理案例)

2.阿里云大数据服务专题

(阿里云大数据服务介绍、DataWorks和MaxCompute组件、阿里云数据集成与其它常用组件、离线数据开发、任务调度)
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/525562.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面趣 | 马云在面试中出的一道题,据说只有一个人答对……

大神,求解!据说,马云给新员工出了一道题然鹅,只有一个人答对了!!!!智商不足的小编居然打开了这道题求解!!!我手里有50元钱花去剩余买衣服 20元30…

linux划分5t硬盘,关于磁盘分区(以linux系统为例)

一、关于硬盘种类、物理几何结构及硬盘容量、分区大小计算;1、硬盘种类、物理几何结构硬盘的种类主要是SCSI 、IDE 、以及现在流行的SATA等;任何一种硬盘的生产都要一定的标准;随着相应的标准的升级,硬盘生产技术也在升级&#xf…

云漫圈 | 敢怼我们程序员?哼,有你好看的。。。

作者设计师静静来源非著名程序员原创作品,如有转载,请联系公众号授权。原创漫画,禁止转载,侵权必究前几天在网络上看到一个关于产品经理和设计的对话,非常的搞笑,有意思。对话如下:产品经理&…

这些软件太强了,Windows必装!尤其程序员!

Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享…

linux配置端口ipv6地址,linux配置ipv6地址命令

linux配置ipv6地址命令模块加载:/etc/module.conf中增加下列行:alias net-pf-10 ipv6配置ipv6:/etc/sysconfig/network中增加下列行:NETWORKING_IPV6yes其它选项(摘自linux下/etc/sysconfig/network-scripts/init.ipv6-global脚本)&#xff1…

教师节 | 程序员都这么玩,你敢挑战吗?

课堂上的每一课您总能「抽象」出整个世界不断「重载」出覆盖这个世界的任何方法当某个「异常」陷入自己的「静态属性」难以自拔时您总会调用千百种「方法」作为一种特别的「参数」传进把「异常」从一个「死循环」中解救出来在无尽的黑夜中您「释放」所有的系统资源不断的开发我…

如何在linux安装mysql7版本的,如何在linux下用tar方式安装Mysql5.7版本

1、下载根据自己的linux系统情况选择对应的tar包2、解压tar -zxvf mysql-5.7.26-linux-glibc2.12-x86_64.tar再移动并重命名一下mv mysql-5.7.26-linux-glibc2.12-x86_64 /usr/local/mysql3、创建mysql用户组和用户并修改权限groupadd mysqluseradd -r -g mysql mysql4、创建数…

cloud一分钟 | 腾讯金融云总经理胡利明:腾讯云服务金融的“加减 乘除”法。...

Hello,everyone:9月10日早,星期一,祝大家工作愉快!祝各位老师节日快乐!一分钟新闻时间:完01微 信 群 添加小编微信:tangguoyemeng,备注“进群公司职位”即可&#xff0c…

cloud一分钟 | 李飞飞离任谷歌云,工作重心将重新转回学术界

Hello,everyone:9月11日早,星期二,祝大家工作愉快!一分钟新闻时间:完01微 信 群 添加小编微信:tangguoyemeng,备注“进群公司职位”即可,加入【云计算学习交流群】&…

Python bytearray/bytes/string区别

目录 一.字节与字符的区别1.字节概念2.字符概念3.字符串概念4.字节串概念二.str / bytes / bytearray 区别三.string 与 bytes / bytearray 相互转换1.string 经过编码 encode 转化成 bytes 2.bytes 经过解码 decode 转化成 string四.猜你喜欢零基础 Python 学习路线推荐 : Pyt…

linux shell 获取参数 $,Linux - Shell - 参数获取

HTML5 canvas易错点一.画布的默认宽高 你的浏览器不支持h ...遍历hashMap对效率的影响测试环境:jdk1.7.0_79\Processor 1.7 GHz Intel Core i5 遍历Map的方式有很多,通常场景下我们需要的是遍历Map中的Key和Value. 写了两个方法: pu ...Java Build Path(Java 构建路径…

如何成为云计算专家?这些必须知道

Level 200、300、400你正处在云计算技术的哪个阶段呢?从进阶,到高级,再到专家AWS INNOVATE 2018 在线技术大会为不同阶段的你量身定制技术内容高屋建瓴的 “主题演讲”包罗万象的 “技术分论坛”亲历亲为的 “Builders 实验室”……我们的进度…

linux重新启动某一个项目,Linux运维知识之supervisor更改某项目配置后 需要重新启动才有效...

本文主要向大家介绍了Linux运维知识之supervisor更改某项目配置后 需要重新启动才有效,通过具体的内容向大家展现,希望对大家学习Linux运维知识有所帮助。在linux服务器上部署了node项目,使用supervisor进行管理梗概了该项目对的某些配置后&a…

Python Pycharm Anacanda 区别

工欲善其事必先利其器,在学习 Python 开发之前我们首先来熟悉几个关键字: 1.Python 2.Pycharm 3.Anacanda 零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门可能对于刚接触的小伙伴还是比较懵逼的,一会 Python 一会 A…

走进中国移动(宁夏)数据中心,感受不一样的运营商情怀

文章来源:数字中国万里行 如今,移动端应用已经深入我们生活的方方面面。想出门,“嘀”一声扫码成功,骑上自行车就出发了;家里又该交燃气费了?随时随地登录官网,输入编码就能立刻充值&#xff1b…

mac linux win三系统安装教程,【教程】macbook pro上安装三系统详解教程(mac os x+windows+linux ubuntu)...

有关如何在macbook pro上安装三系统(mac os x+windows+linux ubuntu),本人本本MB986亲自测试,经过4天奋战已初有小成,特地写下详细安装教程便于惠存,如有问题情多多指证。[nickwsn原创&#xff…

Python2.x 和 Python3.x,如何选择?

一.前言 Python 软件基金会宣布,到 2020 年元旦,将不再为编程语言 Python 2.x 分支提供任何支持。这一天将标志着一出延续多年的戏剧的高潮:Python 从较旧的、功能较弱的、广泛使用的版本过渡到更新的、更强大的版本。 然而,Pytho…

面趣 | 一个月面试4家,3家Offer,来看看面霸真君如何面试的

作者纪小雄已获原作者授权,如需转载,请联系原作者。自古真情留不住,总是套路得人心近来很多小伙伴都抱怨说面试难,难于上青。蚕丛及鱼凫,开国何茫然,呃~好像多背了两句……我,人称 &…

linux真实地址是什么意思,linux – 如何为发件人地址配置真实域名

我尝试使用PHP mail()函数发送电子邮件,但它以某种方式失败,抱怨需要一个真正的域名.在maillog中观察到以下情况&#xff1a;sendmail 4984 r25984: fromapache,size273,class0,nrcpts1,msgid<201.r25localhost.localdomain>,relayapachelocalhostsendmail 4985 r25985: …

Python Hello World入门 - Python零基础入门教程

目录 一.创建 hello world 项目 1.Create New Project2.设置项目所在目录3.项目创建完成 二.编写代码三.运行项目 万丈高楼平地起&#xff0c;编程亦如此。改变世界是结果&#xff0c;坚持努力学习改 Bug 的过程&#xff0c;hello world 是开始&#xff0c;所有语言均是如此。…