🍅 作者主页：不吃西红柿

🍅 简介：CSDN博客专家、C站总榜第8🏆、HDZ核心组成员。欢迎点赞、收藏、评论

🍅 粉丝专属福利：知识体系、面试题库、技术互助、简历模板。文末公众号领取

🍅 包邮送书（每周1-2次）：关注公众号「信息技术智库」回复「送书」

文章总纲

一、大数据知识体系

大数据工程师必备技能

二、面试题库

三、数据仓库知识体系

耗时n年，38页《数据仓库知识体系.pdf》

下载PDF

四、mysql知识体系

五、spark知识体系

六、Flink知识体系

七、Python系列

文章总纲

一、大数据知识体系

而大数据时代，有一个关键性的岗位不得不提，那就是大数据工程师。想必大家也会好奇，大数据工程师，日常是做什么的呢？

1.数据采集	找出描述用户或对业务发展有帮助的数据，并将定义相关的数据格式，交由业务开发部门负责收集对应的数据。
2.ETL工程	对收集到的数据，进行各种清洗、处理、转化等操作，完成格式转换，便于后续分析，保证数据质量，以便得出可以信赖的结果。
3.构建数仓	将数据有效治理起来，构建统一的数据仓库，让数据与数据间建立连接，碰撞出更大的价值。
4.数据建模	基于已有的数据，梳理数据间的复杂关系，建立恰当的数据模型，便于分析出有价值的结论。
5.统计分析	对数据进行各种维度的统计分析，建立指标体系，系统性地描述业务发展的当前状态，寻找业务中的问题，发现新的优化点与增长点。
6.用户画像	基于用户的各方面数据，建立对用户的全方位理解，构建每个特定用户的画像，以便针对每个个体完成精细化运营。

大数据工程师必备技能

分类	子分类	技能	描述
技术能力	编程基础	Java基础	大数据生态必备的java基础
		Scala基础	Spark相关生态的必备技能
		SQL基础	数据分析师的通用语言
		SQL进阶	完成复杂分析的必备技能
	大数据框架	HDFS&YARN	大数据生态的底层基石
		Hive基础	大数据分析的常用工具
		Hive进阶	大数据分析师的高级装备
		Spark基础	排查问题必备的底层运行原理
		Spark SQL	应对复杂任务的利刃
	工具	Hue&Zeppelin	通用的探索分析工具
		Azkaban	作业管理调度平台
		Tableau	数据可视化平台
业务基础		数据收集	数据是如何收集到的？
		ETL工程	怎么清洗、处理和转化数据？
		数据仓库基础	如何完成面向分析的数据建模？
		元数据中心	如何做好数据治理？
分析思维		数据分析思维方法论	怎么去分析一个具体问题？
		排查问题思维	如何高效排查数据问题？
		指标体系	怎么让数据成体系化？

二、面试题库

注意：本系列文的目的不是为了面试取巧，而是通过一些经典的面试题，交流技术观点、提升技术理解、解决工作难题。

查看全部文章搜：信息技术智库

三、数据仓库知识体系

耗时n年，38页《数据仓库知识体系.pdf》

拥有本篇文章，意味着你拥有一本完善的书籍，本篇文章整理了数据仓库领域，几乎所有的知识点，文章内容主要来源于以下几个方面：

源于「数据仓库交流群」资深数据仓库工程师的交流讨论，如《sql行转列的千种写法》。
源于群友面试大厂遇到的面试真题，整理投稿给我，形成《面试题库》。
源于笔者在系统学习过程中整理的笔记和一点理解。
源于技术网站的优质文章和高赞答案。

下载PDF

【下载链接】：https://pan.baidu.com/s/1FZrr2pzh1QHGV12D3yjwBg
【提取码】：98b3

四、mysql知识体系

五、spark知识体系

六、Flink知识体系

七、Python系列

文章链接

面试知识集锦

「面试知识集锦」一文搞懂mysql索引！（原理&使用策略）
「面试知识集锦」面试技巧篇丨HR的小心思，你真的懂吗？
「面试知识集锦」mysql基础知识、面试真题
「面试知识集锦」linux篇丨shell基础命令全集，我奶奶的速查手册！！

更新中系列：

系列一：面试技巧

系列二：Linux & Shell

系列三：Mysql

系列四：Hadoop 底层原理

系列五：Python基础 & 爬虫

系列六：数据仓库

系列七：Sql从入门到放弃

系列八：Zookeeper

系列九：Kafka

系列十：Hive

系列十一：项目实战经验

系列十二：Java

系列十三：数据结构与算法

系列十四：Redis

系列十五：Flink

系列十六：Spark

系列十七：Scala

系列十八：HBase

系列十九：调度系统生态

系列二十：ETL生态

大数据集锦

SQL函数大全丨知识卡片
大数据生态常用组件（一）：数据库、计算引擎、ETL工具、调度工具
大数据生态常用组件（二）：概括介绍、功能特性、适用场景
大数据硬核-知识体系（一）Java篇
大数据硬核-知识体系（二）Scala基础
大数据硬核-知识体系（三）SQL基础
大数据硬核-知识体系（四）SQL进阶
大数据硬核-知识体系（五）HIVE基础
大数据硬核-知识体系（六）HIVE进阶
大数据硬核-知识体系（七）HDFS & YARN基础
大数据硬核-知识体系（八）Spark基础
大数据硬核-知识体系（九）Spark SQL
大数据硬核-知识体系（十）Linux命令基础
大数据硬核-知识体系（十一）Hue & Zeppelin
大数据硬核-知识体系（十二）Tableau数据可视化
大数据硬核-知识体系（十三）Azkaban调度系统
大数据硬核-知识体系（十四）数据分析架构
大数据硬核-知识体系（十五）数据收集
大数据硬核-知识体系（十六）ETL工程
大数据硬核-知识体系（十七）数据仓库基础
大数据硬核-知识体系（十八）元数据中心
大数据硬核-知识体系（十九）支撑体系
大数据硬核-知识体系（二十）数据分析方法
大数据硬核-知识体系（二十一）指标体系
大数据硬核-知识体系（二十二）排查数据

数据仓库

基础知识

🍅 三万字《数据仓库知识体系》轻松拿下字节offer【建议收藏】
秒懂数仓：四种常见数据模型（维度模型、范式模型等）
秒懂数仓：数据仓库的8个发展阶段
秒懂数仓：三种事实表（设计原则，设计方法、对比）
秒懂数仓：总线架构、一致性维度、一致性事实
秒懂数仓：元数据分类、元数据管理
秒懂数仓：维度表（设计原则、设计方法）
秒懂数仓：三范式与反范式
秒懂数仓：数据仓库架构-Lambda和Kappa对比
秒懂数仓：数据治理（目的、方法、流程）
秒懂数仓：常用ETL工具、方法
秒懂数仓：数据仓库规范设计
秒懂数仓：数据应用--OLAP
面试官都惊了，「缓慢变化维」竟然有10种处理方式
SQL函数大全丨知识卡片

面试真题

数据仓库丨大厂常问经典面试真题（持续更新）

数据治理

企业数据治理基础概念 & 案例

用户画像

用户画像基础概念 & 案例分享

Spark

1. Apache Spark简介：一个统一的分析引擎
2.Spark入门介绍与基础案例
3.Apache Spark结构化API（上）
4.Apache Spark结构化API（下）
5.Spark SQL和DataFrames：内置数据源简介
6.Spark SQL和DataFrames：与外部数据源进行交互
7.Spark SQL和DataSet
8.优化和调整Spark应用程序
9. 结构化流（上）
10. 结构化流（中）
11. 结构化流（下）
12. 使用Apache Spark构建可靠的数据湖
13. 使用MLlib进行机器学习（上）
14. 使用MLlib进行机器学习（下）
15. 使用Apache Spark管理、部署和拓展机器学习管道
16. 结语：Apache Spark 3.0

Flink

「Flink实时数据分析系列」1. 有状态流处理简介
「Flink实时数据分析系列」2. 流处理基本概念
「Flink实时数据分析系列」3. Apache Flink的体系架构
「Flink实时数据分析系列」4. 构建Apache Flink的开发环境
「Flink实时数据分析系列」5. Flink的DataSteam API（v1.7）
「Flink实时数据分析系列」6. 基于时间和窗口的算子
「Flink实时数据分析系列」7. 有状态算子和应用（上）
「Flink实时数据分析系列」8. 有状态算子和应用（下）
「Flink实时数据分析系列」9. 与外部系统的读写交互（上）
「Flink实时数据分析系列」10. 与外部系统的读写交互（下）
「Flink实时数据分析系列」11. 配置Flink流式应用（上）
「Flink实时数据分析系列」12. 配置Flink流式应用（中）
「Flink实时数据分析系列」13. 配置Flink流式应用（下）
「Flink实时数据分析系列」14. Flink和流式应用运维（上）
「Flink实时数据分析系列」15. Flink和流式应用运维（下）
「Flink实时数据分析系列」16. Flink生态提供的其它工具
Flink 基础知识

前端系列

JavaScript系列6部曲：包装类型
JavaScript系列6部曲：作用域、预解析
JavaScript系列6部曲：面向过程、面向“对象”
JavaScript系列6部曲：数组和函数
JavaScript系列6部曲：JS流程控制
JavaScript系列6部曲：JS语法知识
推荐2021年前端必读书籍(送电子版)
面试稳了！阿珊的9个前端手写笔记
就这？入门TypeScript并不难！
盘点JavaScript数组常用方法

Python

霸占CSDN榜一的20个Python实战用例总结（标准库+高级库）
五万字python教程，学不会找我！教到你会为止！！内容超多，建议收藏慢慢看！
Python简介（暂无链接）
探索Jupyter Notebook
使用Leather进行数据可视化
科学Python生态和Numpy
使用NumPy和Matplotlib进行数据可视化
图像可视化和3D图形
可视化图和网络
Pandas入门
处理COVID-19数据

添加公众号「信息技术智库」：

🍅 硬核资料：20G，8大类资料，关注即可领取（PPT模板、简历模板、技术资料）
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由各个技术群小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、前端等。

👇👇送书抽奖丨技术互助丨粉丝福利👇👇