什么是集群(cluster)

1、集群

 

1.1 什么是集群

 

简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来,集群是一个系统,而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。

 

1.2 为什么需要集群

 

集群并不是一个全新的概念,其实早在七十年代计算机厂商和研究机构就开始了对集群系统的研究和开发。由于主要用于科学工程计算,所以这些系统并不为大家所熟知。直到Linux集群的出现,集群的概念才得以广为传播。

 

对集群的研究起源于集群系统的良好的性能可扩展性(scalability)。提高cpu主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段对系统性能的提供是有限的。接着人们通过增加CPU个数和内存容量来提高性能,于是出现了向量机,对称多处理机(SMP)等。但是当CPU的个数超过某一阈值,象SMP这些多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU访问内存的带宽并不能随着CPU个数的增加而有效增长。与SMP相反,集群系统的性能随着CPU个数的增加几乎是线性变化的。图1显示了这中情况。

图1. 几种计算机系统的可扩展性

集群系统的优点并不仅在于此。下面列举了集群系统的主要优点:

 

高可扩展性:如上所述。

 

高可用性:集群中的一个节点失效,它的任务可以传递给其他节点。可以有效防止单点失效。

 

高性能:负载平衡集群允许系统同时接入更多的用户。

 

高性价比:可以采用廉价的符合工业标准的硬件构造高性能的系统。

 

1.2.1 集群系统的分类

 

虽然 根据集群系统的不同特征可以有多种分类方法,但是一般我们把集群系统分为两类:

 

高可用(High Availability)集群,简称HA集群。这类集群致力于提供高度可靠的服务。

 

高性能计算(High Perfermance Computing)集群,简称hpC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。

 

第二页

 

 

 

2、高可用集群

 

2.1 什么是高可用性

 

计算机系统的可用性(availability)是通过系统的可靠性(reliability)和可维护性(maintainability)来度量的。工程上通常用平均无故障时间(MTTF)来度量系统的可靠性,用平均维修时间(MTTR)来度量系统的可维护性。于是可用性被定义为:

 

MTTF/(MTTF+MTTR)*100%

 

业界根据可用性把计算机系统分为如下几类:

 

表1. 系统可用性分类

 

可用比例 年停机时间    可用性分类

99.5            3.7天                 常规系统(Conventional)

 

99.9            8.8小时              可用系统(Available)

 

99.99          52.6分钟           高可用系统(Highly Available)

 

99.999       5.3分钟              Fault Resilient

 

99.9999     32秒                   Fault Tolerant

对于关键业务,停机通常是灾难性的。因为停机带来的损失也是巨大的。下面的统计数字列举了不同类型企业应用系统停机所带来的损失。

 

表 2. 停机给企业带来的损失

应用系统                                 每分钟损失(美元)

 

呼叫中心(Call Center)   27000

 

企业资源计划(ERP)系统  13000

 

供应链管理(SCM)系统   11000

 

电子商务(eCoMMerce)系统 10000

 

客户服务(Customer Service Center)系统 27000

随着企业越来越依赖于信息技术,由于系统停机而带来的损失也越拉越大。

 

2.2 高可用集群

 

高可用集群就是采用集群技术来实现计算机系统的高可用性。高可用集群通常有两种工作方式:

 

容错系统:通常是主从服务器方式。从服务器检测主服务器的状态,当主服务工作正常时,从服务器并不提供服务。但是一旦主服务器失效,从服务器就开始代替主服务器向客户提供服务。

 

负载均衡系统:集群中所有的节点都处于活动状态,它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。

 

关于高可用集群的讨论很多,这里就不进行深入的阐述了。

 

第三页

 

 

 

3、高性能计算集群

 

3.1 什么是高性能计算集群

 

简单的说,高性能计算(High-Performance Computing)是计算机科学的一个分支,它致力于开发超级计算机,研究并行算法和开发相关软件。高性能计算主要研究如下两类问题:

 

大规模科学问题,象天气预报、地形分析和生物制药等;

 

存储和处理海量数据,象数据挖掘、图象处理和基因测序;

 

顾名思义,高性能集群就是采用集群技术来研究高性能计算。

 

3.2 高性能计算分类

 

高性能计算的分类方法很多。这里从并行任务间的关系角度来对高性能计算分类。

 

3.2.1 高吞吐计算(High-throughput Computing)

 

有一类高性能计算,可以把它分成若干可以并行的子任务,而且各个子任务彼此间没有什么关联。象在家搜寻外星人( SETI@HOME -- Search for Extraterrestrial Intelligence at Home )就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点,计算节点在给定的数据上用给定的模式进行搜索,然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式,所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照Flynn的分类,高吞吐计算属于SIMD(Single Instruction/Multiple Data)的范畴。

 

3.2.2 分布计算(Distributed Computing)

 

另一类计算刚好和高吞吐计算相反,它们虽然可以给分成若干并行的子任务,但是子任务间联系很紧密,需要大量的数据交换。按照Flynn的分类,分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data)的范畴。

 

3.3 Linux高性能集群系统

 

当论及Linux高性能集群时,许多人的第一反映就是Beowulf。起初,Beowulf只是一个著名的科学计算集群系统。以后的很多集群都采用Beowulf类似的架构,所以,实际上,现在Beowulf已经成为一类广为接受的高性能集群的类型。尽管名称各异,很多集群系统都是Beowulf集群的衍生物。当然也存在有别于Beowulf的集群系统,COW和Mosix就是另两类著名的集群系统。

 

3.3.1 Beowulf集群

 

简单的说,Beowulf是一种能够将多台计算机用于并行计算的体系结构。通常Beowulf系统由通过以太网或其他网络连接的多个计算节点和管理节点构成。管理节点控制整个集群系统,同时为计算节点提供文件服务和对外的网络连接。它使用的是常见的硬件设备,象普通pc、以太网卡和集线器。它很少使用特别定制的硬件和特殊的设备。Beowulf集群的软件也是随处可见的,象Linux、PVM和MPI。

 

本文的以后几部分将详细介绍Beowulf集群系统的硬件、网络、软件和应用体系结构。

 

3.3.2 Beowulf集群和COW集群

 

象Beowulf一样,COW(Cluster Of Workstation)也是由最常见的硬件设备和软件系统搭建而成。通常也是由一个控制节点和多个计算节点构成。COW和Beowulf的主要区别在于:

 

COW中的计算节点主要都是闲置的计算资源,如办公室中的桌面工作站,它们就是普通的PC,采用普通的局域网进行连接。因为这些计算节点白天会作为工作站使用,所以主要的集群计算发生在晚上和周末等空闲时间。而Beowulf中的计算节点都是专职于并行计算,并且进行了性能优化。它们采用高速网(Myrinet或Giganet)上的消息传递(PVM或MPI)进行进程间通信(IPC)。

 

因为COW中的计算节点主要的目的是桌面应用,所以它们都具有显示器、键盘和鼠标等外设。而Beowulf的计算节点通常没有这些外设,对这些计算节点的访问通常是在管理节点上通过网络或串口线实现的。

 

因为连接COW中计算节点的通常是普通的局域网,所以COW上的高性能应用通常是象SETI@HOME 这样的SIMD的高吞吐计算。而Beowulf无论从硬件、网络和软件上都对需要频繁交换数据的MIMD应用做了特别的优化。

 

3.3.3 Mosix集群

 

实际上把Mosix集群放在高性能集群这一节是相当牵强的,但是和Beowulf等其他集群相比, Mosix集群确实是种非常特别的集群, 它致力于在Linux系统上实现集群系统的单一系统映象SSI(Single System Image)。Mosix集群将网络上运行Linux的计算机连接成一个集群系统。系统自动均衡节点间的负载。因为Mosix是在Linux系统内核中实现的集群,所以用户态的应用程序不需要任何修改就可以在Mosix集群上运行。通常用户很少会注意到Linux和Mosix的差别。对于他来说,Mosix集群就是运行Linux的一台PC。尽管现在存在着不少的问题,Mosix始终是引人注目的集群系统。

摘录于:http://hi.baidu.com/movieyouth/blog/item/bbe6d658bad56385800a18b6.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/535802.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Kafka:集群部署

0、环境准备 安装jdk,配置环境提前安装zookeeper 1、解压安装 将tar压缩包上传tar -zxvf kafka_2.12-2.5.0.tgz 2、配置变量环境 vi /etc/profile #kafka export KAFKA_HOME/usr/local/apps/kafka_2.12-2.5.0 export PATH$PATH:$KAFKA_HOME/binsource /etc/pr…

集群(cluster)amp;高可用性(HA)概念

1.1 什么是集群 简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系…

Kafka:常用命令

启动Kafka:kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties创建一个叫test的话题,有两个分区,每个分区3个副本:kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 3 …

MySQL Cluster 群集安装环境介绍

MySQL Cluster 群集安装环境介绍 MySQL 群集支持的操作系统:* Linux (Red Hat, Novell/SUSE) * Sun Solaris * IBM AIX * HP-UX * Mac OS X MySQL 软件:* MySQL Max 版本 (並不是指 MaxDB)* MySQL NDB Cluster 系统最低需求: OS: Linux ( Turbolinux…

八股文打卡day9——计算机网络(9)

面试题:HTTP1.0和HTTP1.1的区别? 我的回答: 1.长连接:HTTP1.1引入了长连接的机制,connection:keep-alive。一个TCP连接可以进行多次请求和响应。而HTTP1.0每次请求响应一次都得建立连接、断开连接。 引入…

使用ogg实现oracle到kafka的增量数据实时同步

Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。 0、本篇中源端和目标端的一些配置信息&#xf…

转载:35岁前成功的12条黄金法则

习惯的力量是惊人的。习惯能载着你走向成功,也能驮着你滑向失败。如何选择,完全取决于你自己。 1.习惯的力量:35岁以前养成好习惯 你想成功吗?那就及早培养有利于成功的好习惯。 习惯的力量是惊人的,35岁…

JDK源码解析之 Java.lang.Object

Object类是Java中其他所有类的祖先,没有Object类Java面向对象无从谈起。作为其他所有类的基类,Object具有哪些属性和行为,是Java语言设计背后的思维体现。 Object类位于java.lang包中,java.lang包包含着Java最基础和核心的类&…

将z-blog改成英文blog所遇到的问题

1.将z-blog中文章日期中的“年,月,日”改成英文 相关模板:b_article-multi.htmlb_article-single.html默认用的时间标签是<#article/posttime/longdate#> 即 "2007年1月13日" 这样的形式你可以换成 <#article/posttime/shortdate#>即 "2…

JDK源码解析之 Java.lang.String

String 类代表字符串。Java 程序中的所有字符串字面值&#xff08;如 “abc” &#xff09;都作为此类的实例实现。 字符串是常量&#xff1b;它们的值在创建之后不能更改。字符串缓冲区支持可变的字符串。因为 String 对象是不可变的&#xff0c;所以可以共享。 一、类定义 p…

看到一个blog的标语,有意思!

"上世纪80年代勇气&#xff0c;90年代靠关系&#xff0c;现在必须靠知识能力&#xff01;挣钱靠1、兴趣广泛&#xff1b; 2、感觉敏锐&#xff1b; 3、集中力强&#xff1b; 4、个性不脆弱&#xff08;坚韧性&#xff09;&#xff1b; 5、能在瞬间了解因果关系&#xff1b…

JDK源码解析之 Java.lang.AbstractStringBuilder

这个抽象类是StringBuilder和StringBuffer的直接父类&#xff0c;而且定义了很多方法&#xff0c;因此在学习这两个类之间建议先学习 AbstractStringBuilder抽象类 该类在源码中注释是以JDK1.5开始作为前两个类的父类存在的&#xff0c;可是直到JDK1.8的API中&#xff0c;关于S…

RHEL下安装配置基于2台服务器的MYSQL集群

一、介绍这篇文档旨在介绍如何在RHEL下安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。 注意&#xff01;虽然这是基于2台服务器的MySQL集群&#xff0c;但也必须有额外的第三台服务器作为管理节点&#xff0c;但这台服务器…

JDK源码解析之 Java.lang.StringBuffer

StringBuffer类表示一个可变的字符序列。StringBuffer的API与StringBuilder互相兼容&#xff0c;但是StringBuffer是线程安全的。在可能的情况下&#xff0c;建议优先使用StringBuilder&#xff0c;因为在大多数实现中它比StringBuffer更快。 一、类定义 public final class S…

redo和undo

这是在网上看到的对redo和undo的探讨&#xff1a; 1. redo 记录所有做过的事情&#xff0c;用于恢复 undo 记录事务的前镜相&#xff0c;用于回滚2. redo&#xff0c;恢复数据库时&#xff0c;按照重做日志文件来恢复你之前的操作 undo&#xff0c;撤消你做过的操作&#xff0…

JDK源码解析之 Java.lang.StringBuilder

StringBuilder类表示一个可变的字符序列。StringBuilder的API与StringBuffer互相兼容&#xff0c;但是StringBuilder是非线程安全的&#xff0c;在大多数实现中它比StringBuffer更快。 一、类定义 public final class StringBufferextends AbstractStringBuilderimplements ja…

从映射观点看索引

信息检索主要有“检”与“索&#xff08;办手续&#xff09;”两个动作。在图书馆借书时&#xff0c;一般而言&#xff0c; 找书的时间比办理手续的时间长得多&#xff0c;因而缩短检查时间是提高效率的关键。数据库中检 索信息也与此类似。 在没有索引文件时&#xff0c;DBM…

JDK源码解析之 Java.lang.Boolean

Boolean 类是将 boolean 基本类型进行包装。类型为 Boolean 的对象包含一个单一属性 value&#xff0c;其类型为 boolean。 此外还提供了许多将 boolean 转换为 String、String 转换为 boolean&#xff0c;以及其他一些方法。 一、类定义 public final class Boolean implemen…

MYSQL的集群的安装与配置(mysql-5.1.21)

具体安装与配置&#xff1a;1&#xff09;准备工作&#xff1a;6台机器&#xff0c;IP地址分别为192.168.0.&#xff08;231-236&#xff09;MGM节点&#xff1a;192.168.0.231(232)SQL 节点&#xff1a;192.168.0.233-234NDBD 节点&#xff1a;192.168.0.235-236系统都是REDHA…

JDK源码解析之 Java.lang.Byte

byte&#xff0c;即字节&#xff0c;由8位的二进制组成。在Java中&#xff0c;byte类型的数据是8位带符号的二进制数,以二进制补码表示的整数 取值范围&#xff1a;默认值为0&#xff0c;最小值为-128&#xff08;-27&#xff09;;最大值是127&#xff08;27-1&#xff09; Byt…