云计算与分布式系统课程学习笔记(一)——云计算简介

大数据对于系统架构的需求

显式的需求

  • 海量计算和存储
  • 快速计算

隐式的需求

  • 数据的快速传输
  • 灵活性
  • 低成本

如何实现这些需求?
并行化(并行化的理念存在于计算机方方面面)

  • 并行请求(分配给多个计算机)
  • 并行线程(分配给多个处理器核心)
  • 并行指令(同一时刻有多于一条指令)
  • 并行数据(同一时刻有多于1个数据项 )
  • 硬件描述(同一时刻使用所有门电路)

规模经济(极端规模的并行化:仓库规模的计算机 WSC)

  • 主要部件 —— 供电、制冷、建筑、网络、安全、存储、计算
  • 优势 —— 规模经济、提高使用率
  • 挑战 —— 能耗PUE、运维

WSC是用网络连接起来的计算和存储设备
WSC的特点:
1、使用相对同质的硬件和系统软件平台
2、共享相同的系统管理
3、大多数应用程序、中间件、系统软件都是自主开发,而传统数据中心则由第三方软件主导
4、WSC运行相对小数目的超大型程序(或服务)
5、通用的资源管理架构增强了部署的灵活性

虚拟化(抽象)

云计算的商业模式概述

—— 云计算的定义
云计算 Cloud computing 既指作为服务通过互联网提供的应用程序(SaaS模式),又指提供这些服务的,位于数据中心的硬件和系统软件(公用计算)
:数据中心硬件与软件
公有云:用即付即用的模式,开放给大众使用的云
私有云:一个企业或组织内部的数据中心
公用计算:给人以无限资源的错觉

—— 云计算商业模式的三大特点

  • 按需服务
  • 资源池
  • 可测量的服务

—— 云计算发展的市场条件

  • 大规模互联网应用(社交网络、多媒体)
    1、规模经济
    2、需求增长促进数据中心建设增长
    3、无法预测的应用增长速度Zynga,Netflix
  • 大数据应用
    1、日志分析
    2、机器学习应用

云计算的价值
在这里插入图片描述
云计算的分类

  • 指令集虚拟机(Amazon EC2, 3Tera)
  • 运行时系统虚拟机(Microsoft Azure)
  • 框架型虚拟机(Goole AppEngine,Force.com)
  • 折衷:灵活性/可移植性
    在这里插入图片描述

为什么要虚拟化

资源池

  • 聚合:将多个资源结合起来
  • 合一:例如存储
  • 动态:快速分配(虚拟机)

隔离:保护消费者隔离其他租客 ,例如虚拟专用网(VPN)
便于管理:测试、机动性

云计算的核心思想

  • 性能:并行化
  • 经济性:规模化、公有云
  • 可管理:虚拟化

从云计算到大数据

  • 虚拟化提供了硬件资源的抽象
  • 用户看到的接口
    (虚拟)计算节点
    (虚拟)网络
    (虚拟)存储
  • 仍然是许多独立的设备:需要分布式系统编程
  • 如何提供一个易于编程的“单一系统”感觉
    分布式存储、计算框架

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484128.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DeepMind用神经网络求解MIP后,攻破运筹学只是时间问题?你想多了

来源:杉数科技作者:皇甫琦、葛冬冬、杉数科技COPT开发组Google的DeepMind团队最近官宣了一篇神经网络(Neural Networks)求解MIP论文。一石激起千层浪,在国内外的运筹优化社群引起了讨论。部分围观吃瓜群众纷纷表示:"This is …

计算机视觉-SIFT

一.SIFT(Scale Invariant Feature Transform) 算法 1.图像尺度空间 要让计算机能够对物体在不同尺度下有一个统一的认知,就要需要考虑图像在不同尺度(远近,大小,颜色区别等)下存在的特点.尺度空间的获取通常使用高斯模糊来实现&…

世界上最好的光刻机为什么来自荷兰?【物联网智商精选】

来源: 大数据实验室“是说芯语”已陪伴您439天现在微电子集成电路技术对世界的各种科技电子产品越来越应用广泛了,一个国家的发展越来越离不开高端芯片了,一个国家越是发展得越快对高端芯片需求量越大,比如我国的芯片需求占世界的50&#xff…

云计算与分布式系统课程学习笔记(二)——Linux基本命令的使用与熟悉

(1) jps 【显示当前系统的java进程情况,及其id号】 -q只显示pid,不显示class名称,jar文件名和传递给main方法的参数-m输出传递给main方法的参数-l输出主类的完整包名或者jar文件完整路径名-v输出传递给JVM的参数 编写一个JSPDemo…

【转】为了修复打码女神脸,他们提出二阶段生成对抗网络EdgeConnect

当图像缺失部分太多的时候,结合多阶段方法和边缘先验信息,这个 GAN 实现了高还原度的图像修复,玩法还不止于此。 在过去几年中,深度学习技术在图像修复方面取得了显着进步。然而,许多这些技术无法重建合理的结构&#…

QT跨平台项目开发经验(项目打包)

1.代码编写 1.1 代码编写简短,代码运行效率高,适当注释。一般一个大型的项目,代码的运行效率要求较高,一般需要秒级响应,甚至毫秒级。 1.2 建议使用命名空间::的形式来访问该命名空间中的变量和函数,这样可…

高等数学、线性代数、概率论、几何这些知识可以用来干什么?

来源:图灵人工智能应该会有很多模友在开始学习数学分析和高等数学时,第一反应是:但其实大多数人所用的教材,从大众角度看还没有到一种极致精确的架构数学的程度。大多数的教材所做的还是“我教会你怎么弄这个东西就行了&#xff0…

CentOS7 /etc/profile 添加环境变量重开终端后不生效

排查步骤如下: 查看/etc/profile里面的环境变量是否填写正确。 需要重启操作系统(很重要!!!) 将环境变量写入/etc/bashrc文件

C++类重点难点

1.构造函数与析构函数 1.1 在创建对象的时候会执行构造函数,对对象的成员属性进行初始话,在对象的生命周期结束时,执行析构函数; 1.2 设计到动态分配内存的时候,在构造函数中进行内存分配,在析构函数中进行…

CentOS7.7安装MySQL5.6并配置环境变量(详细版)

i. tar包下载 官网下载 https://dev.mysql.com/downloads/mysql/网盘获取 链接:https://pan.baidu.com/s/1DpULc0qQ4hqx6HWUwRilpw 提取码:tgdv ii. 安装所需环境 yum -y install make gcc-c cmake bison-devel ncurses-develiii. 解压tar包&#xf…

多少血的教训,才能换来对自动驾驶的严格限定、真实了解和正确使用?

来源:胡延平EarthRambler真的到了应该出台严格的安全措施的时候,而<道路交通安全法*修订建议稿>如何明确责任成为关从最新一起车祸的碰撞情况看,高速公路追尾卡车,雷达对前方目标的识别和驾驶系统的反应可能…

java并发编程-----深入剖析ThreadLocal

一.对ThreadLocal的理解 ThreadLocal,很多地方叫做线程本地变量,也有些地方叫做线程本地存储,其实意思差不多。可能很多朋友都知道ThreadLocal为变量在每个线程中都创建了一个副本,那么每个线程可以访问自己内部的副本变量。 这句…

QT动态连接库的编写

1.QT动态链接库的编写流程 1.1 首先在Qt Creator中创建一个动态连接库Matrix,添加类名,生成一个类(matrix.h和matrix.cpp)和一个matrix_global.h的文件,在matrix_global.h中可看到使用的导出宏,为MATRIXSHARED_EXPORT。如果只想导…

VMware下主机与虚拟机剪切板独立,无法直接复制粘贴

看了很多博客都说需要重新安装vmware tools,但我使用的是这种方法,亲测有效!!! 关闭虚拟机点击编辑虚拟机设置->选项选择客户机隔离,勾选上启动复制粘贴即可(如果之前就已经勾选上但失效的情…

教AI区分因果关系和相关性,将改变下一代 AI 的研发

来源:ScienceAI编辑:萝卜皮多年前,AI 领域曾发生过一件荒唐而有趣的事情。据说,研究人员开发了一种对医院数据进行训练的算法。这个算法发现,「患有哮喘的肺炎患者的治愈表现,比没有哮喘的肺炎患者更好」&a…

sdaf

dfddfdd 转载于:https://www.cnblogs.com/jiangfeilong/p/10432174.html

Java Socket实现客户端服务端之间的通信

Java Socket Java Socket编程用于在不同JRE上运行的应用程序之间的通信。Java Socket编程可以是面向连接的或无连接的。Socket和ServerSocket类用于面向连接的套接字编程,DatagramSocket和DatagramPacket类用于无连接套接字编程。 此Demo将进行单向客户端和服务器…

数据结构-线性结构

一.线性结构 1.顺序线性表 1.1 线性结构是一种基本的数据结构,具有单一前驱和后继的数据关系描述。 1.2 线性表的存储结构分为顺序存储和链式存储。 1.3 顺序线性表的元素间的逻辑关系无需占用额外的空间来存储。 1.4 一般地,以LOC(a1a_1a1​)表示线性…

脑智前沿科普|虚拟现实如何欺骗你的大脑

来源:公众号(脑与心智毕生发展研究中心CLIMB)编辑:Yezi审阅:mingzlee7虚拟现实(Virtual reality, VR)就像被神奇地传送到另一个世界。这是一项令人兴奋的技术,但当我们戴上耳机后,我们很少停下来…

C++11新特性以及std::thread多线程编程

一 .C11新特性 1. auto 类型推导 1.1 当号右边的表达式是一个引用类型时,auto会把引用抛弃,直接推导出原始类型; 1.2 当号右边的表达式带有const属性时,auto不会使用const属性; 1.3 当const 和引用结合时,…