负载均衡

在分布式系统中，负载均衡（load balancing）是一种有效的将网络请求分配到多个服务器的过程。通过将负载进行负载均衡，可以有效地改进系统响应时间，提高系统的可用性。随着系统变的愈发复杂，用户增多和网络流量增大，负载均衡已经成为系统设计中的必要一环。

负载均衡是对应用服务器架构进行水平扩展(scale out)的最为直接的方法。当系统面对用户增多、并发请求增多的状况时，我们可以直接向系统中添加更多的服务器进行水平扩展，负载均衡器会马上开始向新的服务器发送一部分用户请求，从而达到系统的水平扩展，使得每个服务器会有几乎数量相同的客户请求。

实现负载均衡最主要有两个目的。一是使得每个服务器有相同的负载，以减少单个服务器的负载，从而可以达到我们上面提到的对系统进行水平扩展的目的。二是提高系统容错能力，从而达到高可用的目的。在分布式系统中，多个服务器往往会提供相同的服务，所以当一个服务器宕机时，我们可以通过负载均衡器（load balancer）将该服务器对应的负载转发到其他机器上，从而提高系统的可用性。如果没有负载均衡器，我们只是将对应的负载直接转发到某几个机器，那么如果那几个机器本身就有了很高的负载，面临突然的大量负载，有可能会造成其他机器的宕机。

负载均衡器

负载均衡器可以是硬件也可以是软件，它会将网络请求分发到服务器集群上。在下图中，负载均衡器处于客户端和服务器之间，将客户端请求转发到不同的后端服务器来完成客户端请求。通过将客户端请求平均的分发到后端服务器，负载均衡器有效的减少服务器请求，避免了某个服务器会单点失败。

我们可以将负载均衡器的特点总结如下：

• 如果单个服务器宕机，负载均衡器会移除该服务器，并将请求转发到其他在线服务器

• 当一个新服务器被添加到集群中，负载均衡器会自动开始向它发送请求

• 有效的将客户端请求或者网络负载分发到多个服务器上

• 因为只向在线的服务器发送请求从而确保了高可用和可靠性

• 提供了按需增减服务器的灵活性，并不会影响到已有的服务器上的连接

• 可以被应用到不同的层次中，比如服务器，数据库或者缓存

负载均衡器是基于如下两个步骤来为一个客户端请求选择对应的后端服务器的。首先，确认服务器是否可用。然后根据配置好的负载均衡算法从这些健康的服务器中选择一个服务器。

健康检查（Health Check）: 为了确保负载均衡器只将请求发送给健康的服务器，健康检查会周期性尝试连接后端服务器，确保服务器在监听。如果一个服务器健康检查失败了，该服务器会被自动从服务器集群中移除，客户端请求将不会被转发到该服务器上，直到该服务器开始对健康检查开始进行响应。

负载均衡算法

• 轮询调度算法（Round Robin） 

  该算法会依次将请求派发到健康服务器列表中的每一台服务器上。比如健康服务器列表为A，B，C，D。请求就会按此顺序被分发到上面。

• 最少连接算法（Least Connections） 

  该算法会查看集群中哪一个服务器有最少的连接，然后将请求发送到具有最少连接数目的服务器上

• 最少响应时间（Least Response Time）

        该算法会将请求转发到具有最少连接并且最低平均响应时间的服务器上

• 最小带宽算法（Least Bandwidth Method） 

  该方法会将请求转发到有最小流量的服务器上，这里流量以Mbps来测量

• IP地址哈希（IP Hash） 

  该算法根据IP地址来决定将请求转发到哪个服务器上

• 粘滞会话（Sticky Session Scheme）

  根据请求的依赖关系将请求转发到正确服务器上。比如用户的购买请求依赖于用户登录请求，当负载均衡器收到用户的购买请求时，它会将其转发到对应的处理登录请求的服务器上，否则将会报错。

• 均匀任务队列派发（Even Size Task Queue Distribution Scheme） 

  每个服务器用一个队列存储收到的请求，如果服务器处理请求的速度快，那么队列里请求数目减少的也快，那么负载均衡器只需要根据队列中的数目，将请求放到最小数目的队列中即可。

负载均衡器的能力

L4负载均衡器： 基于传输层协议例如IP地址和TCP端口对请求进行转发

L7负载均衡器： 基于应用层数据和属性进行请求转发，比如http包头，统一资源定位符（URI），SSL会话ID和HTML表格数据

全局服务器负载均衡器： 对L4和L7进行扩展，使得负载均衡器可以对全局的服务器进行负载均衡

常用负载均衡器

负载均衡器已经有了很多的解决方案。比如，硬件方面有F5，A10，软件方面有Nginx，HAProxy，LVS。如果整个系统是云架构，那么云厂商也提供了成熟的负载均衡选择比如Azure负载均衡器和AWS负载均衡器。硬件负载均衡器往往具有难以扩展（因为需要额外增加硬件），成本贵（购买硬件，专业人员安装维护）和安全性（物理硬件自身设计导致）等缺点。软件负载均衡器消除了硬件负载均衡器的这些缺点，并具有按需进行调节的灵活性和易于和系统进行集成。因此，我们在面对系统进行水平扩容的时候不妨先考虑开源的软件负载均衡器，如果确实有满足不了的地方，再考虑重复造轮子。