Linux/Python学习论坛-京峰教育

 找回密码
 立即注册

一键登录:

搜索
热搜: 活动 交友 discuz
查看: 1129|回复: 0

Keepalived + LVS(DR) 高可用负载均衡集群

[复制链接]

238

主题

288

帖子

1925

积分

超级版主

Rank: 8Rank: 8

积分
1925
QQ
发表于 2015-3-23 20:40:03 | 显示全部楼层 |阅读模式
1、方案说明
目标是搭建企业级的高可用负载均衡集群服务。采用Keepalived + LVS + Tomcat + Memcache Session Manager + Memcached解决方案。其中:
LVS:Linux Virtual Server是 Linux 虚拟服务器,可以把多台服务器虚拟为一个虚拟 IP ,同时实现各种负载均衡算法
Keepalived: Keepalived 是基于 LVS ,并与 LVS 高度融合的,监控 LVS 下所有真实服务器健康状态,并通过健康健康状态动态调整 LVS 的复杂均衡转发权重和规则。同时 keepalived 具备热备功能。
Tomcat:提供后端的WEB服务
Memcache Session Manager: 负责同步和复制Tomcat服务会话,同时实现其本身高可用
Memcached:存放后端WEB服务的Session

2、环境准备
4台虚拟机,每台512内存(小本太慢,内存不多啊)
操作系统:Redhat Linux AS 5 (2.6.18-8.el5) 32位
LVS:ipvsadm-1.24.tar.gz
Keepalived: keepalived-1.1.17
Tomcat:tomcat-6.0.35
Memcache Session Manager 1.6.0
memcached: memcached-1.4.5.tar.gz
IP规划
名称IP说明
VIP10.10.10.10/32虚拟IP,外部请求IP
调度主10.10.10.11/24Keepalived+LVS主
调度备10.10.10.12/24Keepalived+LVS备
后端服务110.10.10.13/24后端真实服务器1(这里是WEB)
后端服务210.10.10.14/24后端真实服务器2(这里是WEB)


3、Keepalived + LVS 服务端安装配置
keepalived+LVS方案中,两台调度服务需要安排和配置Keepalived+LVS,并配置主备关系,实现负载均衡和高可用
目标服务器:调度主和调度备,两台的安装配置基本完全相同,只是keepalive.conf的部分配置需要修改。

3.1、系统组件依赖
# yum install gcc
# yum install kernel-devel
# yum install openssl-devel

3.2、LVS 安装配置

命令操作
# cd /tools  
# wget http://www.linuxvirtualserver.or ... ipvsadm-1.24.tar.gz  
# ln -sv /usr/src/kernels/2.6.18-8.el5-i686/ /usr/src/linux  
# tar -zxvf ipvsadm-1.24.tar.gz  
# cd ipvsadm-1.24  
# make;make install  


以上操作完成后,LVS已经完整完成,安装后的可执行文件ipvsadm在/sbin/下。LVS安装完成后无需独立配置,后续统一由Keepalived进行托管配置和管理。

3.3、Keepalived 安装配置

命令操作
# cd /tools  
# wget http://www.keepalived.org/software/keepalived-1.1.17.tar.gz  
# tar -zxvf keepalived-1.1.17.tar.gz  
# cd keepalived-1.1.17  
// 注意:因为前面设置了ln -sv /usr/src/kernels/2.6.18-8.el5-i686/ /usr/src/linux的软连接,所以这里没有使用 --with-kernel-dir参数,否则:./configure --with-kernel-dir=/usr/src/kernels/2.6.18-8.el5-i686, 确保Keepalived与内核结合。  
# ./configure  
……  
Keepalived configuration  
------------------------  
Keepalived version       : 1.2.2  
Compiler                 : gcc  
Compiler flags           : -g -O2  
Extra Lib                : -lpopt -lssl -lcrypto   
Use IPVS Framework       : Yes  
IPVS sync daemon support : Yes  
IPVS use libnl           : No  
Use VRRP Framework       : Yes  
Use Debug flags          : No  
# make  
# make install  
// 拷贝keepalived的服务脚本到系统自启动目录(启动操作系统自启动)  
# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
// 拷贝keepalived的启动参数到系统参数配置目录(实际就是:-D)  
# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
// 拷贝keepalived程序文件到系统程序目录  
# cp /usr/local/sbin/keepalived /usr/sbin/  
// 创建keepalived配置文件目录  
# mkdir /etc/keepalived  
  
// 配置keepalived服务及启动  
# chkconfig --add keepalived  
# chkconfig --level 2345 keepalived on  
创建和编辑keepalived配置文件:/etc/keepalived/keepalived.conf,配置和定义虚拟服务器(完整文件请参见附件)
/etc/keepalived/keepalived.conf
global_defs {  
    router_id   KEEPALIVED_LVS  
}  
  
vrrp_sync_group KEEPALIVED_LVS {  
    group {  
        KEEPALIVED_LVS_WEB  
    }  
}  
   
vrrp_instance KEEPALIVED_LVS_WEB {  
        state MASTER                        //注意:如果Keepalived的备机,这里是SLAVE  
        interface eth0  
        lvs_sync_daemon_interface eth0  
        garp_master_delay 5  
        virtual_router_id 100  
        priority 150                        //注意:这里是主备的权重,备一般权重低于主  
        advert_int 1  
        authentication {  
                auth_type PASS  
                auth_pass 111111  
        }  
        virtual_ipaddress {  
                10.10.10.10  
        }  
}  
   
virtual_server 10.10.10.10 80 {  
        delay_loop 3  
        lb_algo wrr                  //定义负载均衡算法,这里是权重轮训  
        lb_kind DR                   //定义模式,这里是Direct route  
        persistence_timeout 0        //会话保存时长(秒),0表示不使用stickyness会话   
        protocol TCP  
        // 后端服务器定义  
        real_server 10.10.10.13 80 {  
           weight 1                   //权重  
           //HttpGET 方式验证真实服务有效性  
           HTTP_GET {                  
           url {  
                     //验证后端服务是否正常的访问地址  
                     path /checkRealServerHealth.28055dab3fc0a85271dddbeb0464bfdb  
                     //访问地址内容的 MD5 摘,通过对比摘要验证后端服务器是否可用  
                     digest 26f11e326fc7c597355f213e5677ae75  
               }  
               connect_timeout 3     //连接超时时间  
               nb_get_retry 3        //重试次数  
               delay_before_retry 3  //每次重试前等待延迟时间  
           }  
        }  
      
        real_server 10.10.10.14 80 {  
           weight 1  
           HTTP_GET {  
           url {  
                     path /checkRealServerHealth.28055dab3fc0a85271dddbeb0464bfdb  
                     digest 26f11e326fc7c597355f213e5677ae75  
               }  
               connect_timeout 3  
               nb_get_retry 3  
               delay_before_retry 3  
           }  
        }  
}  

注意:调度备机的配置与调度主完全相同,区别在于keepalived.conf配置文件中:state MASTER/SLAVE; priority 150/100

4、后端服务器安装配置
4.1、LVS 客户端安装配置
LVS-DR模式中,后端真实服务器(RealServer)无需安装相关软件,只需要对VIP进行绑定和路由设置等一系列操作,这里整理为一个脚本:lvs_realserver.sh,详细解释如下,完整文件请参见附件。
Lvs_realserver.sh
#!/bin/bash  
# description: Config realserver  
LVS_VIP=10.10.10.10  
/etc/rc.d/init.d/functions  
case "$1" in  
start)  
       /sbin/ifconfig lo:0 $LVS_VIP netmask 255.255.255.255 broadcast $LVS_VIP  
       /sbin/route add -host $LVS_VIP dev lo:0  
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce  
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce  
       sysctl -p >/dev/null 2>&1  
       echo "RealServer Start OK"  
       ;;  
stop)  
       /sbin/ifconfig lo:0 down  
       /sbin/route del $LVS_VIP >/dev/null 2>&1  
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce  
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore  
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce  
       echo "RealServer Stoped"  
       ;;  
*)  
       echo "Usage: $0 {start|stop}"  
       exit 1  
esac  
exit 0  
从附件下载该脚本,拷贝到后端真实服务器中,运行:./lvs_realserver.sh start|stop

4.2、MSM-Tomcat安装和配置
后端服务器采用Memcache Session manager + tomcat方式实现集群中会话的同步和复制。
详细配置请参考:APACHE(proxy_ajp_stickysession) + TOMCAT(msm_sticky)实现HA


5、验证
5.1、启动和关闭
调度服务启动:service keepalived start
调度服务关闭:service keepalived stop
后端真实服务启动:
# ./lvs_realserver.sh start
然后在启动tomcat

5.2、调度服务中常用操作
调度服务中查看VIP
[root@hadoop11 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:9b:12:07 brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.11/24 brd 10.10.10.255 scope global eth0
    inet 10.10.10.10/32 scope global eth0
    inet6 fe80::20c:29ff:fe9b:1207/64 scope link
       valid_lft forever preferred_lft forever
3: sit0: <NOARP> mtu 1480 qdisc noop
    link/sit 0.0.0.0 brd 0.0.0.0

调度服务中查看转发情况
[root@hadoop11 ~]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  10.10.10.10:80                      0        0        0        0        0
  -> 10.10.10.14:80                      0        0        0        0        0
  -> 10.10.10.13:80                      0        0        0        0        0

检查 keepalived 进程
[root@hadoop00 keepalived]# ps aux|grep keepalived
root      6635  0.0  0.1   4352   596 ?        Ss   20:30   0:00 keepalived -D
root      6636  0.0  0.2   4396  1332 ?        S    20:30   0:00 keepalived -D
root      6638  0.0  0.1   4396   936 ?        S    20:30   0:00 keepalived -D
应该有 3 个进程,其中一个是主服务进程,另外两个分别是 checker 子进程和 vrrp 子进程
[root@hadoop00 keepalived]# pstree |grep keepalived
     |-keepalived---2*[keepalived]


查看 LVS 内核模块
[root@hadoop11 ~]# lsmod|grep ip_vs
ip_vs_wrr               6977  1
ip_vs_wlc               6081  0
ip_vs                  77569  6 ip_vs_wrr,ip_vs_wlc


查看系统日志
因为我在启动 keepalived 是使用了选项 –D , 这将详细的打印日志消息
tail -f /var/log/messages
5.3、效果测试
测试负载均衡转发
分别启动主/备调度和所有后端真实服务,然后在网络内其他机器中打开浏览器访问VIP。
使用Firefox打开:http://10.10.10.10 ,如下:

使用Ctrl+F5强制刷新后,可以看到本次服务是另外一台后端服务。

测试Session会话
使用界面上的Setting Session表单提交一个Session值,然后重新页面,通过LVS分别转发到不同的后端服务器后,查看Show All Session中会话是否同步和复制。

测试后端服务高可用
1、关闭一台后端服务(10.10.10.14),然后通过浏览器反复刷新,查看是否前端一直可用。
2、通过调度上LVS的统计命令查看:

[root@hadoop11 ~]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  10.10.10.10:80                     15       95        0    11365        0
  -> 10.10.10.13:80                      7       42        0     4676        0

从命令显示情况,可以看出目前服务的后端服务器只有10.10.10.13。重新请求10.10.10.14后从新查看
[root@hadoop11 ~]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  10.10.10.10:80                     15       95        0    11365        0
  -> 10.10.10.14:80                      0        0        0        0        0
  -> 10.10.10.13:80                      7       42        0     4676        0
从命令返回可以看出后端服务恢复成两台。

测试调度服务器本身的高可用
1、关闭主调度服务(10.10.10.11)的keepalived服务
// 主调度服务器上操作
[root@hadoop11 ~]# service keepalived stop
Stopping keepalived:                                       [  OK  ]
[root@hadoop11 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:9b:12:07 brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.11/24 brd 10.10.10.255 scope global eth0
    inet6 fe80::20c:29ff:fe9b:1207/64 scope link
       valid_lft forever preferred_lft forever
3: sit0: <NOARP> mtu 1480 qdisc noop
    link/sit 0.0.0.0 brd 0.0.0.0

// 备调度服务器上操作
[root@hadoop12 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:e7:21:09 brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.12/24 brd 10.10.10.255 scope global eth0
    inet 10.10.10.10/32 scope global eth0
    inet6 fe80::20c:29ff:fee7:2109/64 scope link
       valid_lft forever preferred_lft forever
3: sit0: <NOARP> mtu 1480 qdisc noop
    link/sit 0.0.0.0 brd 0.0.0.0

通过上面的命令可以看出keepalived服务shutdown后,VIP已经浮动到备调度,备调度的keepalived+LVS接管了集群的调度服务。
当然,这个时候可以使用前端浏览器访问VIP测试集群是否可用。


5、常见问题及注意事项
1、LVS+DR模式中,只支持IP的转发,不支持端口转发,也就是说在keepalived.conf的virtual_server和real_server的配置节点中端口必须一样。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|京峰教育,只为有梦想的人 ( 京ICP备15013173号 )

GMT+8, 2019-8-17 23:39 , Processed in 0.049581 second(s), 13 queries , Apc On.

快速回复 返回顶部 返回列表