大数据学习(10)--流计算

文章目录

  • 目录
    • 1.流计算的概述
      • 1.1 什么是流数据?
      • 1.2 批量计算和实时计算
      • 1.3 流计算的概念
      • 1.4 流计算和Hadoop
      • 1.5 流计算框架
    • 2.流计算的处理流程
      • 2.1 流计算处理基本概念
      • 2.2 数数据的实时获取
      • 2.3 数据的实时计算
      • 2.4 实时查询任务
    • 3.流计算的应用和开源框架Strom
      • 3.1 流计算应用
        • 3.1.1 应用1:实时分析
        • 3.1.1 应用2:实时交通
      • 3.2 开源框架strom
        • 3.2.1 strom简介
        • 3.2.2 strom的特点
        • 3.2.3 strom设计思想
        • 3.2.4 strom框架设计
    • 4.spark streaming
      • 4.1 设计思想
      • 4.2 spark streaming 和 strom的对比
    • 5.Samza
      • 5.1 基本概念
      • 5.2 系统架构
    • 6.strom,spark streaming 和samza的应用场景
    • 7.Strom编程实践
      • 7.1 编写strom程序
      • 7.2 安装strom的基本过程
      • 7.3 运行strom程序
    • 8.总结

目录

1.流计算的概述

1.1 什么是流数据?

静态数据-数据仓库
在这里插入图片描述
流数据-物联网传感器数据
在这里插入图片描述

1.2 批量计算和实时计算

在这里插入图片描述

1.3 流计算的概念

在这里插入图片描述
在这里插入图片描述

1.4 流计算和Hadoop

在这里插入图片描述

1.5 流计算框架

在这里插入图片描述

2.流计算的处理流程

2.1 流计算处理基本概念

传统批处理
在这里插入图片描述
流计算
在这里插入图片描述

主要体现的就是数据的实时性!

2.2 数数据的实时获取

在这里插入图片描述
在这里插入图片描述

2.3 数据的实时计算

在这里插入图片描述

2.4 实时查询任务

在这里插入图片描述
在这里插入图片描述

3.流计算的应用和开源框架Strom

3.1 流计算应用

在这里插入图片描述

3.1.1 应用1:实时分析

在这里插入图片描述
在这里插入图片描述

3.1.1 应用2:实时交通

在这里插入图片描述

3.2 开源框架strom

3.2.1 strom简介

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2.2 strom的特点

在这里插入图片描述

3.2.3 strom设计思想

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2.4 strom框架设计

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.spark streaming

4.1 设计思想

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2 spark streaming 和 strom的对比

在这里插入图片描述

5.Samza

5.1 基本概念

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 系统架构

在这里插入图片描述
在这里插入图片描述

6.strom,spark streaming 和samza的应用场景

在这里插入图片描述

7.Strom编程实践

7.1 编写strom程序

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.2 安装strom的基本过程

参考博客
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.3 运行strom程序

在这里插入图片描述
在这里插入图片描述

8.总结

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445157.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

network---written test

1、OSI(Open System Interconnect):开放系统互联,是一个七层的计算机网络模型,分别为:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。 TCP/IP(Transmission Control Protocol/…

redis——实战关注

效果: 思路:很好想,把自己的粉丝和自己关注的人都存起来(set即可),做增删改查。 package com.now.community.community.service;import com.now.community.community.entity.User; import com.now.commun…

NLP复习资料(5)-第九章 句法分析

NLP复习资料-第九章1.短语结构分析2.短语结构分析方法的评估指标3依存句法分析器设计P134依存句法分析器性能评价5短语结构与依存结构能够相互转换6汉英句法结构对比7汉语长句的层次化句法分析国科大,宗老师《自然语言处理》课程复习笔记,个人整理&#…

神经网络中的优化算法总结

在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯度下降,还是Adam方法? 这篇文章介绍了不同优化算法之间的主要区别,以及如何选择最佳的…

OS --written test1

241.在提供虚拟存储的系统中,用户的逻辑地址空间主要受( )的限制。A.内存空闲块的大小 B.外存的大小 C.计算机编址范围 D.页表大小答案:C242.在分时系统中,时间片一定,( …

Java开发需要知道的HTML知识

概述 HTML(HyperText Markup Language) 不是一门编程语言,而是一种用来告知浏览器如何组织页面的标记语言。 HTML 可复杂、可简单,一切取决于开发者。它由一系列的元素组成,这些元素可以用来包围不同部分的内容,使其以某种方式呈…

OS-written test2

操作系统各大公司笔试题汇总 1、在段页式存储管理中,其虚拟地址空间是() A、一维 B、二维 C、三维 D、层次 答案:B 2、采用( )不会产…

Ubuntu18.04上安装RTX 2080Ti显卡驱动

文章目录1.安装Linux系统1.1下载Linux镜像文件1.2 制作系统盘1.3 安装Linux系统1.4 配置linux系统2.安装英伟达显卡驱动2.1 预备工作2.2 安装显卡驱动3.安装cuda4.安装cudnn1.安装Linux系统 1.1下载Linux镜像文件 根据电脑配置和自己的爱好,选择合适的Linux镜像文…

OS

操作系统笔试题及答案一 1.在下列系统中,( )是实时系统。 A.计算机激光照排系统 B.航空定票系统 C.办公自动化系统 D.计算机辅助设计系统 答案:B 2.操作系统是一种( )。 A.应用软件 B.系统软件 C&#xff…

NLP复习资料(6)-第十章 语义分析

NLP复习资料-第十章1语义理论简介2格语法4语义网络5词义消歧5语义角色标注6词向量表示7篇章分析国科大,宗老师《自然语言处理》课程复习笔记,个人整理,仅供参考。语义分析:P3解释句子或篇章的含义,主要困难&#xff08…

处理机调度与死锁

处理机调度与死锁 处理机调度的层次 高级调度 高级调度又称为作业调度或长程调度,其主要功能是根据某种算法,把外存上处于后备队列中的那些作业调入内存,也就是说,它的调度对象是作业。 1.作业和作业步 作业:一个比程…

各种卷积

从最开始的卷积层,发展至今,卷积已不再是当初的卷积,而是一个研究方向。在反卷积这篇博客中,介绍了一些常见的卷积的关系,本篇博客就是要梳理这些有趣的卷积结构。 阅读本篇博客之前,建议将这篇博客结合在一…

springboot——kaptcha

导入包&#xff1a; <dependency><groupId>com.github.penggle</groupId><artifactId>kaptcha</artifactId><version>2.3.2</version></dependency> 配置类&#xff1a; package com.now.community.community.config;import…

NLP复习资料(7)-机器翻译、文本分类、情感分析

NLP复习资料国科大&#xff0c;宗老师《自然语言处理》课程复习笔记&#xff0c;个人整理&#xff0c;仅供参考。此部分为手稿&#xff0c;高清图下载见链接&#xff1a;https://download.csdn.net/download/sinat_40624829/11662412

XMl文件解析读取

DOM方式&#xff1a; http://www.w3schools.com/dom/dom_parser.asp

redis——对项目的一些优化方案

这是我们之前项目的业务流程&#xff0c;做一下简单介绍。 登录&#xff1a; 用户输入账号、密码、验证码。我们先判断用户输入的验证码是不是我们session存的验证码&#xff0c;然后去查账号密码是否正确。 如果登录成功&#xff0c;发送给用户一张凭证&#xff08;ticket&a…

const的思考

const的思考 1、什么是const?常类型是指使用类型修饰符const说明的类型&#xff0c;常类型的变量或对象的值是不能被更新的。&#xff08;当然&#xff0c;我们可以偷梁换柱进行更新&#xff1a;&#xff09;2、为什么引入const&#xff1f;const 推出的初始目的&#xff0c;正…

深度模型压缩论文(02)- BlockSwap: Fisher-guided Block Substitution for Network Compression

文章目录1.摘要和背景1.1 摘要1.2 背景2.方法和贡献2.1 方法2.2 贡献3.实验和结果3.1 实验3.2 结果4.总结和展望4.1 总结4.2 展望本系列是在阅读深度神经网络模型小型化方面论文时的笔记&#xff01;内容大部分从论文中摘取&#xff0c;也会有部分自己理解&#xff0c;有错误的…

NLP复习资料(8)-知识图谱、信息抽取

NLP复习资料第16讲—知识图谱第17讲-信息抽取&#xff08;知识图谱生命周期中信息获取的关键技术&#xff09;国科大&#xff0c;宗老师《自然语言处理》课程复习笔记&#xff0c;个人整理&#xff0c;仅供参考。第16讲—知识图谱 知识图谱经典知识表示理论语义网资源描述框架…

Collection源码阅读

package java.util;import java.util.function.Predicate; import java.util.stream.Stream; import java.util.stream.StreamSupport;/*** 集合层次结构的根接口&#xff0c;一个集合表示一组对象&#xff0c;称为元素* JDK不提供任何该接口的直接实现&#xff0c;JDK提供实现…