大型门户网站的可伸缩性架构设计

大型门户网站的可伸缩性架构设计
 

2009-12-28 来源:网络

 

我们知道,对于一个大型门户网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:

首先是横向的分:

1. 大的网站化解为多个小网站:当我们一个网站有多个功能的时候,可以考虑把这个网站拆分成几个小模块,每一个模块可以是一个网站,这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。

2. 静态动态分离:静态文件和动态文件最好分离开成2个网站,我们知道静态网站和动态网站对服务器来说压力的侧重不同,前者可能重IO后者重CPU,那么我们在选择硬件的时候也可以有侧重,而且静态和动态内容的缓存策略也不一样。典型的应用,我们一般会有独立的文件或图片服务器。

3. 按照功能来分:比如有一个模块是负责上传的,上传操作很消耗时间,如果和其它应用混在一起的话很可能,一点点访问就会使服务器瘫痪,这种特殊的模块应该分开。安全的不安全的也要分开,还需要考虑到以后SSL的购买。

4. 我们不一定要全部用自己的服务器,搜索、报表可以依靠别人的服务,比如google的搜索和报表服务,自己做的不一定比得过别人,服务器带宽都省了。

其次是纵向的分:

1. 文件也相当于数据库,IO的流量可能比数据库还大,这也算是纵向级别的访问,上传的文件图片一定要和WEB服务器分开。当然,数据库和网站都放在一个服务器上的很少了,这是最基本的。

2. 对于涉及到数据库访问的动态程序来说,我们可以使用一个中间层(所谓的应用层或逻辑层)来访问数据库(部署在独立的服务器上),最大的好处就是缓存和灵活性。缓存的内存占用比较大,我们要把它和网站进程分开,而且这样做我们可以很方便的去改变一些数据访问的策略,即使到时候数据库有分布的话在这里可以做一个调配工作,这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁,可能网通访问双线再访问电信会比网通直接访问电信服务器快。

有人说我不分,我可以做负载均衡,对,是可以的,但是如果分的话,同样的10台机器肯定比不分10台机器可以承受更多的访问量,而且对硬件的需求可能不会很高,因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲,又都不是太忙,合理进行组合调整和扩充,这样的系统伸缩性就高了,能根据访问量来调整的前提就是之前有考虑到分,分的好处是灵活性、伸缩性、隔离性以及安全性。

对服务器来说,我们有几点是要长期观察的,任何一点都可能是瓶颈:

1. CPU:动态文件的解析需要比较多的CPU,CPU出现瓶颈就要看是不是哪个功能过长时间占用线程,如果是就分出去。或者就是每一个请求处理时间不长,但是访问量很高,那么就加服务器。CPU是好东西,不能让他干等,不做事情。

2. 内存:缓存从IIS进程独立出去,一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快,要合理利用。

3. 磁盘IO:用性能监视器找到哪些文件IO特别大,找到了就分到独立的一组文件服务器上去,或者直接做CDN。磁盘慢,大规模读取数据的应用靠缓存,大规模写入数据的应用可以靠队列来降低突发的并发。

4. 网络:我们知道,网络的通讯是比较慢的,比磁盘还慢,如果是做分布式缓存,分布式计算的话,要考虑到物理服务器之间网络通讯的时间,当然,在流量大了以后,这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分,在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。

对SQL SERVER数据库服务器来说[UPDATE]:

其实还是水平分割和纵向分割,一个二维表,水平分割就是横过来切一刀,纵向分割就是竖直切一刀:

1、纵向分割就是,我们不同的应用可以分到不同的DB中,不同的实例中,或者说把某个拥有很多字段的表拆分成小表。

2、横向分割就是,某些应用可能不负载,比如用户注册,但是用户表会非常大,可以把大表分开。可以采用表分区,数据存储在不同文件上,然后再部署到独立物理服务器增加IO吞吐以改善读写性能,土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度,因为我们的页索引可以有多层了,就像一个文件夹中的文件不要太多,多分几层文件夹一样。

3、还可以通过数据库镜像、复制订阅、事物日志,把读写分开到不同的镜像物理数据库上,一般来说够用,如果还不行可以用硬件来实现数据库的负载均衡。当然,对于BI,我们可能还会有数据仓库。

架构上考虑到了这些之后,流量大了,就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。

典型的架构如下:

动态WEB服务器配好点的CPU,静态WEB服务器和文件服务器磁盘好点

应用服务器内存大点,缓存服务器也是,数据库服务器当然内存和CPU都要好

转载于:https://www.cnblogs.com/heartstill/archive/2011/01/06/1927800.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/263675.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html中dd dt的效果,html中dt dd

html中,dl,dt,dd怎么使用html中,dl和dd和dt标签是什么意思,什么时候需要用定义列表的意思 一般用在图文并排的时候 应网友提问。html中,dl和dd和dt标签是什么意思,什么时候需要html中,dl和dd和dt标签的意思如下:dl标签…

mysql存储引擎优化参数

MySQL配置参数优化本文来自道森学习笔记,版权归 http://wubx.net/ 所有MyISAM存储引擎优化涉及参数如下:Key_buffery_sizeConcurrent_insert 2 | WAAYSBulk_insert_buffer_size8MMyisam_recover_optionsFORCEMyisam_recover_threads1Myisam_sort_buffer…

实现 laravel 的artisan

laravel 的 artisan 命令行太好用了&#xff0c;换个框架没有这个功能&#xff0c;于是自己学习实现一些&#xff0c;直接上代码 新建目录 -artisan --bin --src 进入artisan composer init composer require symfony/console #!/usr/bin/env php<?phpuse Symfony\Comp…

cdev 结构体与字符设备的注册

在 linux 2.6内核中&#xff0c;使用 cdev结构体描述字符设备&#xff0c;cdev 的定义在 <linux/cdev.h> 中可找到&#xff0c;其定义如下&#xff1a;引用 struct cdev { struct kobject kobj; struct module *owner; const struct file_operation…

JVM调优总结(七)-典型配置举例1

以下配置主要针对分代垃圾回收算法而言。 堆大小设置 年轻代的设置很关键 JVM中最大堆大小有三方面限制&#xff1a;相关操作系统的数据模型&#xff08;32-bt还是64-bit&#xff09;限制&#xff1b;系统的可用虚拟内存限制&#xff1b;系统的可用物理内存限制。32位系统下&am…

Nginx多种负载均衡策略搭建

背景介绍 上篇介绍了利用Nginx反向代理实现负载均衡&#xff0c;本文详细讲述Nginx下的几种负载均衡策略。 轮询 轮询&#xff0c;顾名思义&#xff0c;就是轮流请求&#xff0c;基于上篇文章的介绍&#xff0c;我们将负载均衡策略聚焦于default.conf文件的upstream。 upstream…

基于GCCAVR的TLC2543读写程序----模拟SPI方式实现

TLC2453的操作也比较简单&#xff0c;通过模拟的方式实现只需要看一下时序图把时序搞对即可。 在硬件SPI中&#xff0c;读和写实可以通过硬件同步进行的&#xff0c;因此在写入本次命令字时可以同时读取上一次命令的数据&#xff0c;在模拟SPI的方式中&#xff0c;读和写无法同…

html设置点击事件相同,html有多个类名相同的div,如何给每个div绑定click事件并区分?...

1.页面有9个div&#xff0c;类名都是.flag&#xff0c;然后想给每个div都绑定一个click事件&#xff0c;点击.flag时&#xff0c;获取其后代元素.count的值和.ds-subtitle的rel属性。下面这样的写法请问哪里出错了&#xff1f;请看开始三行后面注释$(document).ready(function(…

利用Apache POI读取并解析Excel的数据

/* * Created on 2010-12-9 * java读取excel文件 * */import java.io.FileInputStream;import java.io.FileOutputStream;//import java.text.DecimalFormat; import org.apache.poi.hssf.usermodel.HSSFCell;import org.apache.poi.hssf.usermodel.HSSFRow;import org.apache.…

计算机语言学 考研学校,2019考研专业:语言学及应用语言学

中国教育在线讯 2019考研&#xff0c;对考研专业了解越多&#xff0c;考研人越易选出适合自己的方向&#xff0c;中国教育在线考研频道将陆续推出2019考研业解析系列&#xff0c;进行基本的专业介绍&#xff0c;探析就业前景与方向&#xff0c;推荐知名院校&#xff0c;介绍相近…

我感觉这个书上的微信小程序登陆写得不好

基本功能是OK&#xff0c;但是感觉传的数据太多&#xff0c;不安全&#xff0c;需要改写。 App({d: {hostUrl: http://www.test.com/index.php, //请填写您自己的小程序主机URLappId: "xxx",appKey: "xxx",ceshiUrl: http://www.test.com/index.php,//请填…

计算机组装维修中级试题,计算机维修工中级理论知识试卷.doc

计算机维修工中级理论知识试卷.doc职业技能鉴定国家题库计算机维修工中级理论知识试卷注 意 事 项本试卷依据2007年颁布的《计算机(微机)维修工》国家职业标准命制&#xff0c;考试时间&#xff1a;90分钟请首先按要求在答题纸上填写您的姓名、准考证号、参考等级、参考工种。请…

day05 selenium库的基础使用

selenium请求库实现爬取京东商品信息:    导入selenium库 利用try-catch实现对是否能连接进行异常检测与捕获 get方式向京东主页发送请求 通过id查找iput输入框 send_kyes为当前标签传值 通过send_keys按回车键实现查询 通过find_elements_by_class_name爬取每个商品   …

java入门5-asp.net关注

第 二 章   数 据 类 型 2.1 数 据 类 型 数 据 类 型 指 明 了 变 量 或 表 达 式 的 状 态 和 行 为 。 Java 的数据 类 型 如 下 所 示 : Java不 支 持 C、 C中 的 指 针 类 型 、 结 构 体 类 型 和 共 用 体类型 。 本 章 我 们 主 要 介 绍 简 单 类 型 。 2.2 常…

iOS CoreAnimation

为什么80%的码农都做不了架构师&#xff1f;>>> 前言&#xff1a;这篇文章太全了&#xff0c;忍不住就转了&#xff0c;原地址 CoreAnimation&#xff0c;另外前面写过一篇简单的动画IOS简单动画 核心动画,开发人员可以为他们的应用创建动态用户界面,而无需使用低级…

计算机应用基础126题,2015-2016年全国计算机应用基础总复习.

20152015--2016年全国年全国计算机应用基础总复计算机应用基础总复习人的生命是有限的,但是为人民服务是无限的,我要把有限的生命投入到无限的为人民服务中去笔试分为四种题型&#xff1a;(1)单选题&#xff1b;(2)判断题&#xff1b;(3)双选题&#xff1b;(4)多选题。在这里给…

asp.net MVC 权限设计(续)

asp.net MVC 权限设计一文中没有demo放出来,应大家的要求&#xff0c;这里补充上文并放出demo。 几点说明&#xff1a; 1、基于将角色与controller、action相关联来判断用户是否有权 2、通过自定义AuthorizeAttribute实现 3、demo 仅供参考&#xff0c;一些规则可以根据实际情况…

C# winForm 定时访问PHP页面小工具

IDE&#xff1a;vs2019 项目文件&#xff1a; 链接: https://pan.baidu.com/s/1H-Q3nc6sKQbD32pp0vuQIg 提取码: ncce 使用场景&#xff1a;定时访问本机&#xff08;服务器&#xff09;的某个页面&#xff0c;发送参数。执行计划任务。 界面&#xff1a; C# 代码&#xff1a;…

Java知多少(12)运算符

Java中的运算符和C/C相差无几。 数学运算符 数学运算&#xff0c;结果为一个数值。见下表&#xff1a;运算符说明举例加法1 2-减法4 - 3.4*乘法7 * 1.5/除法3.5 / 7%取余7 % 2自增3--自减3--关系运算符 关系运算符&#xff0c;结果为一个布尔值。见下表&#xff1a;运算符说明…

响应式html5模板代码,响应式多用途HTML5模板

跨浏览器兼容&#xff0c;视网膜准备&#xff0c;响应式 HTML5 / CSS3 模板&#xff0c;具有触摸支持&#xff0c;具有简洁的设计&#xff0c;多用途模板&#xff0c;适用于各种网站&#xff0c;使用此模板可以进行大量自定义&#xff0c;这将有助于您重新定义网站的品牌价值。…