云端巨擘:大数据与云计算的时代航向

文章目录

  • 大数据时代
    • 大数据特点(4v+1C
    • 大数据与云计算的关系
  • 云计算
    • 云计算定义
    • 云计算特点
    • 云计算分类(服务类型)
    • 云计算实现机制
    • 云计算体系结构
    • 云计算的管理中间件层

大数据时代

  • 大数据定义:海量数据或巨量数据,其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。

大数据特点(4v+1C

  1. 价值密度低(Value):在成本可接受的条件下,通过快速采集、发现和分析,从大量、多种类别的数据中提取价值的体系架构。
  2. 数据量大(Volume):存储的数据量巨大,PB级别是常态,因而对其分析的计算量也大。
  3. 快速(Velocity):数据增长速度快,而且越新的数据价值越大,这就要求对数据的处理速度也要快,以便能够从数据中及时地提取知识,发现价值。
  4. 多样(Variety):数据的来源及格式多样,数据格式除了传统的结构化数据外,还包括半结构化或非结构化数据,比如用户上传的音频和视频内容。而随着人类活动的进一步拓宽,数据的来源更加多样。
  • 复杂度(Complexity):对数据的处理和分析的难度大。

大数据与云计算的关系

在这里插入图片描述

云计算

云计算定义

在这里插入图片描述

  • 云计算长定义:云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。
  • 云计算短定义:云计算是通过网络按需提供可动态伸缩的廉价计算服务。

云计算特点

  • 云计算的7个特点:超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需付费、极其廉价

云计算分类(服务类型)

  • 将软件作为服务SaaS(Software as a Service):针对性更强,它将某些特定应用软件功能封装成服务,如:Salesforce online CRM
  • 将平台作为服务PaaS(Platform as a Service):对资源的抽象层次更进一步,提供用户应用程序运行环境如:Google App Engine ,Microsoft Windows Azure
  • 将基础设施作为服务IaaS(Infrastructure as a Service):将硬件设备等基础资源封装成服务供用户使用如:Amazon EC2/S3

云计算实现机制

在这里插入图片描述

云计算体系结构

在这里插入图片描述

  • 管理中间件层和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供。

云计算的管理中间件层

在这里插入图片描述

  • 资源管理 :均衡使用云资源节点,检测节点故障并试图恢复或屏蔽之,并对资源的使用情况进行监视统计
  • 任务管理:执行用户或应用提交的任务,包括完 成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生 命期管理等
  • 用户管理 : 实现云计算商业模式的一个必不可少的环节,包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等
  • 安全管理:保障云计算设施的整体安全,包括身份认证、访问授权、综合防护和安全审计等

  • 简化的IaaS实现机制图

在这里插入图片描述

  • 用户交互接口向应用以WebServices方式提供访问接口,获取用户需求。
  • 服务目录是用户可以访问的服务清单。
  • 系统管理模块负责管理和分配所有可用的资源,其核心是负载均衡。
  • 配置工具负责在分配的节点上准备任务运行环境。
  • 监视统计模块负责监视节点的运行状态,并完成用户使用节点情况的统计。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/745449.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学生时期学习资源同步-1 第一学期结业考试题9

原创作者:田超凡(程序员田宝宝) 版权所有,引用请注明原作者,严禁复制转载

ArrayList 是如何进行扩容的?

典型回答 ArrayList 在添加元素时,会自动进行扩容操作,它的执行步骤如下: 当 ArrayList 的内部数组空间不足以容纳新增的元素时,会触发扩容机制。ArrayList 会创建一个新的更大的数组,通常是当前数组长度的 1.5倍 (可…

Spring中经典的7种设计模式源码分析

一、工厂模式 Spring使用工厂模式来创建Bean对象,如BeanFactory、ApplicationContext等。工厂模式为bean的创建过程提供了一个框架,同时隔离了实例化细节,使得代码更加解耦。 BeanFactory接口 BeanFactory接口仍然是Spring工厂模式的基础,它定义了获取Bean实例的基本方法。 …

LAMP网站部署(Discuz论坛网站部署)

目录 mysql命令 语法 选项 参数 实例 安装php 安装Mariadb 关掉防火墙和selinux 启动HTTP服务 初始化数据库 查看数据库是否创建成功 修改HTTP的配置文件 浏览器打开 将以下所有目录都加上权限 最后首页效果 mysql命令 是MySQL数据库服务器的客户端工具,它工作在命…

【点云】激光点云建图评测

处理工具 Pcap合并软件 sudo apt install wireshark-common合并Pcap文件&#xff0c;路径为数据文件夹下&#xff0c; #mergecap -w <输出的新Pcap> <输入的Pcap> mergecap -w lidar_output.pcap slice2099-06-01/LIDAR/lidar.pcap slice2099-06-02/LIDAR/lidar…

Java错误:JDBC错误,如何解决和避免

随着Java的广泛应用&#xff0c;Java程序在连接数据库时经常会出现JDBC错误。JDBC&#xff08;Java Database Connectivity&#xff09;是Java中用于连接数据库的编程接口&#xff0c;因此&#xff0c;JDBC错误是在Java程序与数据库交互时遇到的一种错误。下面将介绍一些最常见…

从根到叶:深度理解哈希表

​​​​​​​ 一.哈希表的概念 关于查找元素时&#xff1a; 在顺序结构以及平衡树 中&#xff0c;元素关键码与其存储位置之间没有对应的关系&#xff0c;因此在 查找一个元素时&#xff0c;必须要经过关键 码的多次比较 。 顺序查找时间复杂度为 O(N) &#xff0c;平衡树中…

什么是云计算?应用场景有哪些?

云计算是通过互联网提供计算资源和服务的计算模式&#xff0c;是一种新型的计算模式&#xff0c;能够通过互联网将计算和存储资源进行集中和共享&#xff0c;云计算主要就是把有形的产品&#xff0c;如网络硬件设备、服务器、存储服务器和各种软件等转化成服务产品&#xff0c;…

Acwing-基础算法课笔记之动态规划(背包问题)

Acwing-基础算法课笔记之动态规划&#xff08;背包问题&#xff09; 一、01背包问题1、概述2、过程模拟 二、完全背包问题1、概述2、闫氏dp分析完全背包问题3、过程模拟代码模板 三、多重背包问题1、概述2、过程模拟3、多重背包问题的优化版本 分组背包问题1、概述2、过程模拟3…

postgresql 批量添加数据,存在则更新,不存在则插入

语句介绍: DO NOTHING&#xff1a;当记录存在时&#xff0c;什么都不做 DO UPDATE SET column_1 value_1, … WHERE condition&#xff1a;当记录存在时&#xff0c;更新表中的一些字段 实例语句&#xff1a; name默认为主键 存在则更新&#xff0c;不存在则插入 INSERT I…

Rockchip android7.1.2 强制第三方apk横屏显示

Rockchip android7.1.2 强制第三方apk横屏显示 问题描述解决方法 郑重声明:本人原创博文&#xff0c;都是实战&#xff0c;均经过实际项目验证出货的 转载请标明出处:攻城狮2015 Platform: Rockchip OS:Android 7.1.2 Kernel: 3.10 问题描述 目前市面上&#xff0c;apk有三种形…

修改vscode的相对路径计算逻辑

vscode的相对路径计算逻辑是&#xff0c;"./"表示当前项目的文件夹&#xff0c;而不是当前文件所在的文件夹 做出如下修改&#xff1a; File-->Preferences-->settings 搜索Execute in File Dir , 然后取消勾选

粒子群算法对pi控制器进行参数优化,随时优化pi参数以控制直流无刷电机转速。

粒子群算法对pi控制器进行参数优化&#xff0c;随时优化pi参数以取得设定直流无刷电机转速。 PSO优化PID&#xff0c;用于BLDC速度控制 仿真平台为&#xff1a;MATLAB 采用的是Simulinkm程序相配合 仿真结果以及程序示例&#xff1a;

如何配置Apache的反向代理

目录 前言 一、反向代理的工作原理 二、Apache反向代理的配置 1. 安装Apache和相关模块 2. 配置反向代理规则 3. 重启Apache服务器 三、常见的使用案例 1. 负载均衡 2. 缓存 3. SSL加密 总结 前言 随着Web应用程序的不断发展和扩展&#xff0c;需要处理大量的请求和…

Excel第26享:模糊查找之Hlookup函数与通配符的嵌套

1、需求描述 如下图所示&#xff0c;现第一行有三个参考值&#xff1a;人S、羊E、猪3&#xff0c;在第三行有5个字&#xff1a;马、牛、人、羊、猪&#xff0c;每个字如果出现在第一行的三个参考值中&#xff0c;就返回该单元格的数值。如&#xff0c;人&#xff0c;就返回“人…

Lucene查询语法,适用于 ELk Kibana 查询

Lucene查询语法&#xff0c;适用于 ELk Kibana 查询 Elasticsearch 构建在 Lucene 之上&#xff0c;过滤器语法和 Lucene 相同。本语法可用于 Kibana 界面的检索和 Grafana 看板对接 ES 的检索规则。 Kibana 上的检索语法Grafana 上的检索语法 全文搜索 在搜索栏输入login&…

【SpringCloud微服务实战08】RabbitMQ 消息队列

MQ异步通信优缺点: 优点: 吞吐量提升:无需等待订阅者处理完成,响应更快速 故障隔离:服务没有直接调用,不存在级联失败问题 调用间没有阻塞,不会造成无效的资源占用 耦合度极低,每个服务都可以灵活插拔,可替换 流量削峰:不管发布事件的流量波动多大,都由Broker接收,…

Redis-复制功能

0 序言 复制功能是Redis提供的多机功能中最基础的一个&#xff0c;这个功能是通过主从复制&#xff08;master-slave replication&#xff09;模式实现的&#xff0c;它允许用户为存储着目标数据库的服务器创建出多个拥有相同数据库副本的服务器&#xff0c;其中存储目标数据库…

数据流的中位数

优质博文IT-BLOG-CN 一、题目 中位数是有序整数列表中的中间值。如果列表的大小是偶数&#xff0c;则没有中间值&#xff0c;中位数是两个中间值的平均值。 【1】 例如arr [2,3,4]的中位数是3。 【2】例如arr [2,3]的中位数是(2 3) / 2 2.5。 实现MedianFinder类: 【1】M…

GPT如何做角色扮演,prompt示例大放送

文末有完整版角色扮演提示词。 角色扮演在AI提示词中有着至关重要的作用。 无论结构化指令,还是文本格式指令,角色扮演都是很实用也是比较容易上手的提示词的重要组成部分。 我们可以通过让ChatGPT扮演特定的角色,来获得更加贴合需求的、具有特定视角和专业知识背景的答案…