Linux/Python学习论坛-京峰教育

 找回密码
 立即注册

一键登录:

搜索
热搜: 活动 交友 discuz
查看: 1546|回复: 0

lvs故障排查笔记

[复制链接]

238

主题

288

帖子

1925

积分

超级版主

Rank: 8Rank: 8

积分
1925
QQ
发表于 2015-3-18 16:33:54 | 显示全部楼层 |阅读模式
1、现象:今日lvs突然异常,无法正常转发用户请求,导致站点无法访问
环境:centos 6.2 keepalived+lvs双机
处理:
a、主lvs异常后没有自动切到从机,暂时不知道原因,于是手动关闭主keepalived服务将浮动IP切换到从机,仍然无法正常转发数据;
b、为了尽快恢复服务,手动停止主从keepalived服务,然后将浮动IP地址绑定到其中一台缓存服务器上,服务恢复。
c、查找原因,发现主从lvs服务器的日志里记录了安装一些软件,但不确定是否就是这些软件包引起
May 24 16:38:17 servername yum[9613]: Installed: lm_sensors-libs-3.1.1-10.el6.x86_64
May 24 16:38:17 servername yum[9613]: Installed: 1:net-snmp-libs-5.5-37.el6_2.1.x86_64
May 24 16:38:17 servername yum[9613]: Installed: elfutils-libelf-devel-0.152-1.el6.x86_64
May 24 16:38:17 servername yum[9613]: Installed: lm_sensors-devel-3.1.1-10.el6.x86_64
May 24 16:38:17 servername yum[9613]: Installed: tcp_wrappers-devel-7.6-57.el6.x86_64
May 24 16:38:18 servername yum[9613]: Installed: elfutils-libs-0.152-1.el6.x86_64
May 24 16:38:18 servername yum[9613]: Installed: elfutils-devel-0.152-1.el6.x86_64
May 24 16:38:18 servername yum[9613]: Installed: file-devel-5.04-11.el6.x86_64
May 24 16:38:18 servername yum[9613]: Installed: rpm-devel-4.8.0-19.el6_2.1.x86_64
May 24 16:38:18 servername yum[9613]: Installed: 1:net-snmp-devel-5.5-37.el6_2.1.x86_64
May 24 16:38:18 servername yum[9613]: Installed: 1:net-snmp-perl-5.5-37.el6_2.1.x86_64
May 24 16:38:19 servername yum[9613]: Installed: 1:net-snmp-5.5-37.el6_2.1.x86_64
May 24 16:38:19 servername yum[9613]: Installed: 1:net-snmp-utils-5.5-37.el6_2.1.x86_64
May 24 16:38:22 servername kernel: __ratelimit: 89 callbacks suppressed
May 24 16:38:22 servername kernel: snmpd[9639]: segfault at 0 ip 00007f56cf9621fd sp 00007fffb7e5fdc0 error 4 in libc-2.12.so[7f56cf8fc000+186000]
May 24 17:24:43 servername kernel: snmpd[10673]: segfault at 0 ip 00007f67b091b1fd sp 00007fff55c84e30 error 4 in libc-2.12.so[7f67b08b5000+186000


d、修改keepalived配置,使用新的浮动IP地址,重启主keepalived服务,发现重启失败,报如下错误信息:
Keepalived_healthcheckers: IPVS: Can't initialize ipvs: Protocol not available
起初重装了ipvsadm和keepalived,但故障依旧,随后突然想到是否lvs模块加载异常,于是lsmod|grep ip_vs发现果然没有相应的模块,而正常情况下应该是有的
e、手动加载ip_vs模块
modprobe ip_vs
modprobe ip_vs_wrr
f、重启keepalived服务,故障排除,此时转发正常,从服务器的ip_vs加载正常,主从切换也正常
g、将modprobe ip_vs、modprobe ip_vs_wrr添加进/etc/rc.local开机自动加载
自此处理完毕,但,是什么原因使得ip_vs加载失败暂时还没找到原因。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|京峰教育,只为有梦想的人 ( 京ICP备15013173号 )

GMT+8, 2019-10-21 00:20 , Processed in 0.022012 second(s), 12 queries , Redis On.

快速回复 返回顶部 返回列表