百万级PHP网站架构工具箱

在了解过世界最大的PHP站点,Facebook的后台技术后,今天我们来了解一个百万级PHP站点的网站架构:Poppen.de。Poppen.de是德国的一个社交网站,相对Facebook、Flickr来说是一个很小的网站,但它有一个很好的架构,融合了很多技术,如 Nigix、MySql、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphite、Red5以及Tsung。

  Poppen.de目前有200万注册用户数、2万并发用户数、每天20万条私有消息、每天25万登录次数。而项目团队有11个开发人员,两个设计,两个系统管理员。该站点的商业模式采用免费增值模式,用户可以使用搜索用户、给好友发送消息、上载图片和视频等功能

  如果用户想享受不受限制发送消息和上载图片,那么就得根据需要支付不同类型的会员服务,视频聊天及网站其他服务也采用同样的策略。

  Nginx

  Poppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期提供每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM。Poppen.de拥有三台独立的图像服务器,由三台Nginx服务器为*.bilder.poppen.de提供每分钟8万次请求服务。

  Nginx 架构中一个很酷的设计就是有很多请求是由Memcached处理的,因此请求从缓存中获取内容而不需要直接访问PHP机器。比如,用户信息页(user profile)是网站需要密集处理的内容,如果把用户信息页全部缓存到Memcached上,那么请求直接从Memcached上获取内容。 Poppen.de的Memcached每分钟可以处理8000次请求。

  架构中有三个Nginx图像服务器提供本地图像缓存,用户上载图 像到一个中央文件服务器。当向这三个Nginx之一中请求图像时,如果服务器本地中没有存在该图像,则从中央文件服务器下载到该服务器上作缓存并提供服 务。这种负载均衡的分布式图像服务器架构设计可以减轻主要存储设备的负载。

  PHP-FPM

  该网站运行在PHP- FPM上。共有28台双CPU、6GB内存的PHP机器,每个机器上运行100个PHP-FPM的工作线程。使用启用了APC的PHP5.3.x。 PHP5.3可以降低CPU和内存使用率的30%以上。

  程序代码是基于Symfony1.2框架之上开发的。一是可以使用外部资源,二是 能够提高项目开发进度,同时在一个著名的框架上可以让新开发人员更容易加入到团队中来。虽然没有任何事情都是十全十美的,但可以从Symfony框架中得 到很多好处,让团队可以更多的精力放在Poppen.de的业务开发上去。

  网站性能优化使用XHProf,这是Facebook开源出来的一个类库。这个框架非常容易个性化和配置,能够可以缓存大部分高代价的服务器计算。

  MySQL

  MySQL是网站主要的RDBMS。网站又几个MySql服务器:一台4CPU、32GB的服务器存储用户相关信息,如基本信息、照片描述信息等。这台机器已经使用了4 年,下一步计划会使用共享集群来替换它。目前仍基于这个系统上进行设计,以简化数据访问代码。根据用户ID进行数据分区,因为网站中大部分信息都是以用户 为中心的,如照片、视频、消息等。

  有三台服务器按主-从-从配置架构提供用户论坛服务。一台从服务器负责网站自定义消息存储,到现在有 2.5亿条消息。另外四台机器为主-从配置关系。另外由4台机器配置成NDB族群专门服务于密集型写操作数据,如用户访问统计信息。

  数据表设计尽量避免关联操作,尽可能缓存最多的数据。当然,数据库的结构化规范已经完全被破坏掉了。因此,为了更容易搜索,数据库设计创建了数据挖掘表。大部分表是MyISAM型表,可以提供快速查找。现在的问题是越来越多的表已经全表锁住了。Poppen.de正考虑往XtraDB存储引擎上迁移。

  Memcached

  网站架构中Memcached应用相当多,超过45GB的高速缓存和51个节点。缓存了Session会话、视图缓存以及函数执行缓存等。架构中有一个系统 当记录被修改时可以自动地把数据更新到缓存中去。未来改善缓存更新的可能方案是使用新的Redis Hash API或者MongoDB。

  RabbitMQ

  在 2009年中开始在架构中使用RabbitMQ。这是一个很好的消息解决方案,便于部署和集中到这个架构中去,在LVS后运行了两台RabbitMQ服务 器。在上个月,已经把更多的东西集成到该队列中,意味着同一时刻有28台PHP服务器每天要处理50万次请求。发送日志、邮件通知、系统消息、图像上载等 更多的东西到这个队列中。

  应用PHP-FPM中的fastcgi_finish_request()函数集成队列消息,可以把消息异步发 送到队列中。当系统需要给用户发送HTML或JSON格式响应时,就调用这个函数,这样用户就没有必要等到PHP脚本清理。

  这个系统可以改善架构资源管理。例如,在高峰期服务每分钟可以处理1000次登录请求。这表示有1000并发更新用户表保存用户的登录时间。由于使用了队列机制,可以 按相反的顺序来运行这些查询。如果需要提高处理速度,只需要增加更多的队列处理者即可,甚至可以增加更多的服务器到这集群中去,而不需要修改任何配置和部 署新节点。

  CouchDB

  日志存储CouchDB运行在一台机器上。在这台机器上可以根据模块/行为进行日志查询 /分组,或者根据错误类型等等。这对定位问题非常有用。在使用日志聚合服务CouchDB之前,不得不逐台登录到PHP服务器上设法日志分析定位问题,这 是非常麻烦的。而现在把所有的日志集中到队列中保存到CouchDB中,可以集中进行问题检查和分析。

  Graphite

  网站使用Graphite采集网站实时信息并统计。从请求每个模块/行为到Memcached的命中和未命中、RabbitMQ状态监控以及Unix负载等等。Graphite服务平均每分钟有4800次更新操作。实践已经证实要监测网站发发生什么是非常有用的,它的简单文本协议和绘图功能可以方便地即插即 用的方式用于任何需要监控的系统上。

  一件很酷的事情是使用Graphite同时监控了网站的两个版本。一月份部署了Symfony框架新 版本,以前代码作为一个备份部署。这就意味着网站可能会面临性能问题。因此可以使用Graphite来对两个版本在线进行对比。

  发现新版本上的Unix负载表较高,于是使用XHProf对两个版本进行性能分析,找出问题所在。

  Red5

  网站为用户也提供了两种类型的视频服务,一种是用户自己上载的视频,另外一种是视频聊天,用户视频互动和分享。到2009年年中,每月为用户提供17TB的流量服务。

  Tsung

  Tsung 是一个Erlang编写的分布式基准分析工具。在Poppen.de网站中主要用于HTTP基准分析、MySQL与其他存储系统(XtraDB)的对比分 析。用一个系统记录了主要的MySQL服务器的流量,再转换成Tsung的基准会话。然后对该流量进行回放,由Tsung产生数以千计的并发用户访问实验 室的服务器。这样就可以在实验环境中与真实场景非常接近。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/548797.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Failed to load resource: the server responded with a status of 404 (Not Found)

现象描述: 从前端页面获取不到来自controller层的data数据,即前端页面和后台没有实现数据交互。 检查发现: 工程中的out目录下没有生成对应的.java文件,但是模块中的target中有 目录是空的!!&#xff…

部分Dell 740 不支持 Xen Server?

在Dell 740 上装了半天的Xen Server,都不成功。 不断报错,重启 在GOOGLE上爬山下海 ~,原来郁闷不只是我.......740 一些可以装,一些不可以 ~ Xen Server需要机器的CPU支持AMD-V 或者 Intel-V 有个支持信息 来自Xenwiki Contents …

JavaWeb关于工程运行的笔记

1、不同IDEA版本创建web部署的方式不同 IDEA2020.3:Idea2020.2.3 创建JavaWeb项目(部署Tomcat)方法 IDEA2020.2:Idea2020.2创建JavaWeb项目(部署Tomcat)方法 注意: 1、在已有工程中创建javaWeb模块也是一样的步骤去部署Tomcat方法。 2、可以…

linux oracle10.2.0.1 lsnrctl无法启动

故障现象:lsnrctl stat后即无任何反应,而SQLPLUS正常: [oraclewlserver3 ~]$ lsnrctl stat LSNRCTL for Linux: Version 10.2.0.1.0 - Production on 13-SEP-2011 23:16:11 Copyright (c) 1991, 2005, Oracle. All rights reserved. Connect…

Xshell使用root用户连接Linux

遇到问题: 我在本地使用 Xftp 向远程 Linux 服务器上传文件时,显示状态 “错误”,经过上网查询说,需要 Xshell 使用 root 用户远程登录才可以传输文件。我的 Linux 服务器系统为 Ubuntu 的系统,本地 Xshell 用 root 用…

检测Java对象所占内存大小 (转载)

2019独角兽企业重金招聘Python工程师标准>>> Dont pay the price for hidden class fields By Vladimir Roubtsov, JavaWorld.com, 08/16/02 Recently, I helped design a Java server application that resembled an in-memory database. That is, we biased the d…

股价涨跌分析程序

http://www.iteye.com/topic/1114623

Xftp上传文件显示状态错误

遇到问题: 我在本地使用 Xftp 向远程 Linux 服务器上传文件时,显示状态 “错误”,经过上网查询说,需要 Xshell 使用 root 用户远程登录才可以传输文件。 问题产生原因: sshd 默认设置不允许 root 用户远程登录&…

田老的语录

1.年轻人,应该充满活力,不应该是对世界充满仇恨和黑暗的,我们始终要相信世界是美好的,生活是美好的! 2.技术是很容易学会的,只要你真的用心去学,没什么技术是学不会的! 3.我们学一样…

图形处理工具:Photoshop Elements 2020 mac介绍说明

Photoshop Elements 2020 mac简称ps elements 2020,是一款图形处理工具。ps elements 2020 mac可以帮助您自动生成照片和视频作品的功能,采用Sensei AI技术可进行图像组织、编辑和创建等。Photoshop Elements 2020 可以帮助您轻松整理照片和视频&#xf…

Linux版本tomcat下载及安装

下载: ssm war 就需要放在tomcat中运行。 下载地址:http://www.apache.org/ 打开之后进入了Apache官网界面: 一直往下拉,找到我们要的Tomcat 点击tomcat进入其主页面: http://tomcat.apache.org/ 找到我们要下载的版…

Linux版本JDK1.8下载与安装

下载: 网上有很多网盘版的,我为了便于以后看更新,这里上官网下。 地址: https://www.oracle.com/java/technologies/javase-downloads.html 进入这个页面可以看见各个版本的,往下划找到我要的JDK1.8的 点击JDK Downl…

关于多线程编程您不知道的 5 件事 有关高性能线程处理的微妙之处

虽然很少有 Java™ 开发人员能够忽视多线程编程和支持它的 Java 平台库,更少有人有时间深入研究线程。相反地,我们临时学习线程,在需要时向我们的工具箱添加新的技巧和技术。以这种方式构建和运行适当的应用程序是可行的,但是您可…

Ubuntu作为服务器其tomcat被远程访问问题

根据我的Linux版本tomcat下载及安装安装好tomcat之后,但是还不能直接访问我 ubuntu 服务器的公网 ip, 即http://xxx.xxx.xxx.xxx:8080访问不到 Apache tomcat主页,还需要进行配置。 一、在路由器管理页面配置转发规则 如果你和我一样&#…

c#界面鼠标拖动

之前做过拖动,找了两种方法: 1、 private Point myPoint; private void Form1_MouseMove(object sender, MouseEventArgs e) { if (e.Button MouseButtons.Left) { Point myPosition Co…

没有已启用的仓库。 执行 “yum repolist all“ 查看您拥有的仓库。

问题描述: yum是RPM的前端程序,对于多软件安装时非常好用,在虚拟机中想要安装什么软件都可以使用yum install 软件来快速调用仓库安装,但是我初次使用这个命令的时候一直报错,显示 没有已启用的仓库。 执行 “yum rep…

解决ubuntu上网慢

Ubuntu上网慢?没错!不要再怀疑,Ubuntu上网的确要比Windows下慢。慢在哪里呢?在Ubuntu 9.10下使用Firefox浏览网页的时候你会发现,左下角的状态栏里,长时间的显示:Looking up xxxx.com.... 或者 Connecting to xxxx.com 的信息。…

最老程序员创业札记:全文检索、数据挖掘、推荐引擎应用33

快刀斩乱麻第二天一大早,吴言就准备去找老乡打听梁秀娟的行踪,虽然他从心里觉得小A和梁秀娟最近的做法都不对,但是他说不清为什么,也不愿意他们这样闹下去,到头来两败俱伤。在老乡之中,吴言首先想到的是自己…

Linux下安装Redis

下载安装包 Linux版本下载地址: Redis中文官方网站:http://www.redis.cn/ 点击箭头处即可下载tar.gz文件。 安装 1、上传文件到linux服务器上 我是使用Xshell远程安装到linux服务器,所以先使用xftp把安装包上传到服务器指定目录下 2、…

windows安装双JDK并实现版本切换

我本来只有一个JDK11,后来因为要用到jdk8,但是我又不想卸载掉11,于是想到了jdk共存,根据百度经验操作作了如下一通操作: 1、删除java.exe,javac.exe,javaw.exe 首先,jdk11会自动在 C:\Program Files\Comm…