文章目录
- 目录
- 1.流计算的概述
- 1.1 什么是流数据?
- 1.2 批量计算和实时计算
- 1.3 流计算的概念
- 1.4 流计算和Hadoop
- 1.5 流计算框架
- 2.流计算的处理流程
- 2.1 流计算处理基本概念
- 2.2 数数据的实时获取
- 2.3 数据的实时计算
- 2.4 实时查询任务
- 3.流计算的应用和开源框架Strom
- 3.1 流计算应用
- 3.1.1 应用1:实时分析
- 3.1.1 应用2:实时交通
- 3.2 开源框架strom
- 3.2.1 strom简介
- 3.2.2 strom的特点
- 3.2.3 strom设计思想
- 3.2.4 strom框架设计
- 4.spark streaming
- 4.1 设计思想
- 4.2 spark streaming 和 strom的对比
- 5.Samza
- 5.1 基本概念
- 5.2 系统架构
- 6.strom,spark streaming 和samza的应用场景
- 7.Strom编程实践
- 7.1 编写strom程序
- 7.2 安装strom的基本过程
- 7.3 运行strom程序
- 8.总结
目录
1.流计算的概述
1.1 什么是流数据?
静态数据-数据仓库
流数据-物联网传感器数据
1.2 批量计算和实时计算
1.3 流计算的概念
1.4 流计算和Hadoop
1.5 流计算框架
2.流计算的处理流程
2.1 流计算处理基本概念
传统批处理
流计算
主要体现的就是数据的实时性!
2.2 数数据的实时获取
2.3 数据的实时计算
2.4 实时查询任务
3.流计算的应用和开源框架Strom
3.1 流计算应用
3.1.1 应用1:实时分析
3.1.1 应用2:实时交通
3.2 开源框架strom
3.2.1 strom简介
3.2.2 strom的特点
3.2.3 strom设计思想
3.2.4 strom框架设计
4.spark streaming
4.1 设计思想
4.2 spark streaming 和 strom的对比
5.Samza
5.1 基本概念
5.2 系统架构
6.strom,spark streaming 和samza的应用场景
7.Strom编程实践
7.1 编写strom程序
7.2 安装strom的基本过程
参考博客
7.3 运行strom程序