Top

NSD CLUSTER DAY02

  1. 案例1:ipvsadm命令用法
  2. 案例2:部署LVS-NAT集群
  3. 案例3:部署LVS-DR集群

1 案例1:ipvsadm命令用法

1.1 问题

准备一台Linux服务器,安装ipvsadm软件包,练习使用ipvsadm命令,实现如下功能:

1.2 方案

安装ipvsadm软件包,关于ipvsadm的用法可以参考man ipvsadm资料。

常用ipvsadm命令语法格式如表-1及表-2所示。

表-1 ipvsadm命令选项

表-2 ipvsadm语法案例

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:使用命令增、删、改LVS集群规则

1)创建LVS虚拟集群服务器

  1. [root@proxy ~]# yum -y install ipvsadm
  2. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
  3. [root@proxy ~]# ipvsadm -Ln
  4. IP Virtual Server version 1.2.1 (size=4096)
  5. Prot LocalAddress:Port Scheduler Flags
  6. -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  7. TCP 192.168.4.5:80 wrr

2)为集群添加若干real server

  1. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -m -w 1
  2. [root@proxy ~]# ipvsadm -Ln
  3. IP Virtual Server version 1.2.1 (size=4096)
  4. Prot LocalAddress:Port Scheduler Flags
  5. -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  6. TCP 192.168.4.5:80 wrr
  7. -> 192.168.2.100:80 Masq 1 0 0
  8. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
  9. [root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
  10. [root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4

3)修改集群服务器设置(修改调度器算法,将加权轮询修改为轮询)

  1. [root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
  2. [root@proxy ~]# ipvsadm -Ln
  3. IP Virtual Server version 1.2.1 (size=4096)
  4. Prot LocalAddress:Port Scheduler Flags
  5. -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  6. TCP 192.168.4.5:80 rr
  7. -> 192.168.2.100:80 Masq 1 0 0
  8. -> 192.168.2.200:80 Masq 2 0 0
  9. -> 192.168.2.201:80 Masq 2 0 0
  10. -> 192.168.2.202:80 Masq 1 0 0

4)修改read server(将模式改为DR模式)

  1. [root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g

5)查看LVS状态

  1. [root@proxy ~]# ipvsadm -Ln

6)创建另一个集群

  1. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
  2. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
  3. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

6)保存所有规则

  1. [root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

7)清空所有规则

  1. [root@proxy ~]# ipvsadm –C

2 案例2:部署LVS-NAT集群

2.1 问题

使用LVS实现NAT模式的集群调度服务器,为用户提供Web服务:

2.2 方案

实验拓扑结构主机配置细节如表-3所示。

表-3

使用4台虚拟机,1台作为Director调度器、2台作为Real Server、1台客户端,拓扑结构如图-1所示。

图-1

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:配置基础环境

1)设置Web服务器(以web1为例)

  1. [root@web1 ~]# yum -y install httpd
  2. [root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html

2)启动Web服务器软件

  1. [root@web1 ~]# systemctl restart httpd

3)关闭防火墙与SELinux

  1. [root@web1 ~]# systmctl stop firewalld
  2. [root@web1 ~]# setenforce 0

步骤三:部署LVS-NAT模式调度器

1)确认调度器的路由转发功能(如果已经开启,可以忽略)

  1. [root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
  2. [root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward
  3. 1
  4.  
  5. [root@proxy ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
  6. #修改配置文件,设置永久规则

2)创建集群服务器

  1. [root@proxy ~]# yum -y install ipvsadm
  2. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr

2)添加真实服务器

  1. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
  2. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m

3)查看规则列表,并保存规则

  1. [root@proxy ~]# ipvsadm -Ln
  2. [root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

步骤四:客户端测试

客户端使用curl命令反复连接http://192.168.4.5,查看访问的页面是否会轮询到不同的后端真实服务器。

3 案例3:部署LVS-DR集群

3.1 问题

使用LVS实现DR模式的集群调度服务器,为用户提供Web服务:

3.2 方案

使用4台虚拟机,1台作为客户端、1台作为Director调度器、2台作为Real Server、,拓扑结构如图-2所示。实验拓扑结构主机配置细节如表-4所示。

图-2

表-4

3.3 步骤

实现此案例需要按照如下步骤进行。

说明:VIP是对客户端提供服务的IP地址,RIP是后端服务器的真实IP地址,DIP是调度器与后端服务器通信的IP地址(DIP必须配置在虚拟接口)。

步骤一:配置实验网络环境

1)设置Proxy代理服务器的VIP和DIP

注意:为了防止冲突,VIP必须要配置在网卡的虚拟接口!!!

调度器使用DIP与RIP通信,否则会出现192.168.4.5与192.168.4.5通信。

  1. [root@proxy ~]# cd /etc/sysconfig/network-scripts/
  2. [root@proxy ~]# cp ifcfg-eth0{,:0}
  3. [root@proxy ~]# vim ifcfg-eth0
  4. TYPE=Ethernet
  5. BOOTPROTO=none
  6. NAME=eth0
  7. DEVICE=eth0
  8. ONBOOT=yes
  9. IPADDR=192.168.4.15
  10. PREFIX=24
  11. [root@proxy ~]# vim ifcfg-eth0:0
  12. TYPE=Ethernet
  13. BOOTPROTO=none
  14. DEFROUTE=yes
  15. NAME=eth0:0
  16. DEVICE=eth0:0
  17. ONBOOT=yes
  18. IPADDR=192.168.4.5
  19. PREFIX=24
  20. [root@proxy ~]# systemctl restart network

2)设置Web1服务器网络参数

  1. [root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
  2. ipv4.addresses 192.168.4.10/24 connection.autoconnect yes
  3. [root@web1 ~]# nmcli connection up eth0

接下来给web1配置VIP地址

注意:这里的子网掩码必须是32(也就是全255),网络地址与IP地址一样,广播地址与IP地址也一样。

  1. [root@web1 ~]# cd /etc/sysconfig/network-scripts/
  2. [root@web1 ~]# cp ifcfg-lo{,:0}
  3. [root@web1 ~]# vim ifcfg-lo:0
  4. DEVICE=lo:0
  5. IPADDR=192.168.4.5
  6. NETMASK=255.255.255.255
  7. NETWORK=192.168.4.5
  8. BROADCAST=192.168.4.5
  9. ONBOOT=yes
  10. NAME=lo:0

注意:这里因为web1也配置与代理一样的VIP地址,默认肯定会出现地址冲突。

写入这四行的主要目的就是访问192.168.4.5的数据包,只有调度器会响应,其他主机都不做任何响应。

  1. [root@web1 ~]# vim /etc/sysctl.conf
  2. #手动写入如下4行内容
  3. net.ipv4.conf.all.arp_ignore = 1
  4. net.ipv4.conf.lo.arp_ignore = 1
  5. net.ipv4.conf.lo.arp_announce = 2
  6. net.ipv4.conf.all.arp_announce = 2
  7. #当有arp广播问谁是192.168.4.5时,本机忽略该ARP广播,不做任何回应
  8. #本机不要向外宣告自己的lo回环地址是192.168.4.5

重启网络服务,设置防火墙与SELinux

  1. [root@web1 ~]# systemctl restart network
  2. [root@web1 ~]# ifdown eth1
  3. [root@web1 ~]# ifconfig
  4. [root@web1 ~]# systemctl stop firewalld
  5. [root@web1 ~]# setenforce 0

3)设置Web2服务器网络参数

  1. [root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
  2. ipv4.addresses 192.168.4.20/24 connection.autoconnect yes
  3. [root@web2 ~]# nmcli connection up eth0

接下来给web2配置VIP地址

注意:这里的子网掩码必须是32(也就是全255),网络地址与IP地址一样,广播地址与IP地址也一样。

  1. [root@web2 ~]# cd /etc/sysconfig/network-scripts/
  2. [root@web2 ~]# cp ifcfg-lo{,:0}
  3. [root@web2 ~]# vim ifcfg-lo:0
  4. DEVICE=lo:0
  5. IPADDR=192.168.4.5
  6. NETMASK=255.255.255.255
  7. NETWORK=192.168.4.5
  8. BROADCAST=192.168.4.5
  9. ONBOOT=yes
  10. NAME=lo:0

注意:这里因为web2也配置与代理一样的VIP地址,默认肯定会出现地址冲突。

写入这四行的主要目的就是访问192.168.4.5的数据包,只有调度器会响应,其他主机都不做任何响应。

  1. [root@web2 ~]# vim /etc/sysctl.conf
  2. #手动写入如下4行内容
  3. net.ipv4.conf.all.arp_ignore = 1
  4. net.ipv4.conf.lo.arp_ignore = 1
  5. net.ipv4.conf.lo.arp_announce = 2
  6. net.ipv4.conf.all.arp_announce = 2
  7. #当有arp广播问谁是192.168.4.5时,本机忽略该ARP广播,不做任何回应
  8. #本机不要向外宣告自己的lo回环地址是192.168.4.5

重启网络服务,设置防火墙与SELinux

  1. [root@web2 ~]# systemctl restart network
  2. [root@web2 ~]# ifdown eth1
  3. [root@web2 ~]# ifconfig
  4. [root@web2 ~]# systemctl stop firewalld
  5. [root@web2 ~]# setenforce 0

步骤二:配置实验网络环境

1)自定义Web页面

  1. [root@web1 ~]# yum -y install httpd
  2. [root@web1 ~]# echo "192.168.4.10" > /var/www/html/index.html
  3. [root@web2 ~]# yum -y install httpd
  4. [root@web2 ~]# echo "192.168.4.20" > /var/www/html/index.html

2)启动Web服务器软件

  1. [root@web1 ~]# systemctl start httpd; systemctl enable httpd
  2. [root@web2 ~]# systemctl start httpd; systemctl enable httpd

步骤三:proxy调度器安装软件并部署LVS-DR模式调度器

1)安装软件(如果已经安装,此步骤可以忽略)

  1. [root@proxy Packages]# yum -y install ipvsadm

2)清理之前实验的规则,创建新的集群服务器规则

  1. [root@proxy ~]# ipvsadm -C #清空所有规则
  2. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr

3)添加真实服务器(-g参数设置LVS工作模式为DR模式)

  1. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.4.10 -g -w 1
  2. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.4.20 -g -w 1

4)查看规则列表,并保存规则

  1. [root@proxy ~]# ipvsadm –Ln
  2. [root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

步骤四:客户端测试

客户端使用curl命令反复连接http://192.168.4.5,查看访问的页面是否会轮询到不同的后端真实服务器。

扩展知识:默认LVS不带健康检查功能,需要自己手动编写动态检测脚本,实现该功能:(参考脚本如下,仅供参考)

  1. [root@proxy ~]# vim check.sh
  2. #!/bin/bash
  3. VIP=192.168.4.5:80
  4. RIP1=192.168.4.10
  5. RIP2=192.168.4.20
  6. while :
  7. do
  8. for IP in $RIP1 $RIP2
  9. do
  10.      curl -s http://$IP &>/dev/vnull
  11. web_stat=$?
  12.      ipvsadm -Ln | grep -q $IP
  13.      web_in_lvs=$?
  14.      if [ $web_stat -ne 0 -a $web_in_lvs -eq 0 ];then
  15.      ipvsadm -d -t $VIP -r $IP
  16.      elif [ $web_stat -eq 0 -a $web_in_lvs -ne 0 ];then
  17.      ipvsadm -a -t $VIP -r $IP
  18.      fi
  19. done
  20. sleep 1
  21. done