上一篇
高负载集群实战之LVS负载均衡如何实现，配置步骤是什么？
高负载集群实战之LVS负载均衡
LVS（Linux Virtual Server） 是一个基于Linux内核的开源负载均衡项目，由章文嵩博士发起，它运行在Linux内核中，对网络流量进行四层调度，将来自客户端的请求分发到后端的真实服务器节点，从而构建高并发、高可用的服务器集群，在大型网站、CDN、数据库读写分离等场景中，LVS凭借其高吞吐、低延迟和稳定性,成为集群负载均衡的首选方案之一。
LVS的基本架构与工作原理
LVS集群由三部分组成：前端负载均衡器（Director）、后端真实服务器（Real Server） 和 共享存储（可选），Director对外提供一个虚拟IP（VIP），客户端通过VIP访问集群，Director根据预设的调度算法，将请求转发到后端的Real Server处理，Real Server将响应直接或间接返回客户端，整个转发过程对客户端透明,用户感觉就像在访问一台高性能服务器。
LVS运行在Linux内核的Netfilter框架中，通过ip_vs模块实现数据包的处理，用户空间的ipvsadm工具用于管理虚拟服务器规则和真实服务器列表。
三种工作模式详解
LVS支持三种主要工作模式，适用于不同的网络环境,下表归纳了它们的核心差异：
| 模式 | 数据包转发方式 | 响应流量路径 | 网络要求 | 优缺点 |
|---|---|---|---|---|
| NAT（网络地址转换） | Director修改请求报文的目标IP和端口，转发给Real Server；Real Server处理后返回给Director，Director再修改源IP为VIP返回客户端。 | 进出流量都经过Director | Real Server使用私有IP，网关指向Director；Director需配置两块网卡。 | 优点：Real Server可使用任意OS；缺点：Director成为瓶颈，扩展性有限。 |
| TUN（IP隧道） | Director将请求封装在IP隧道中发送给Real Server，Real Server解封装后直接处理并响应客户端。 | 进流量经过Director，出流量直达客户端 | Real Server需支持IP隧道协议（通常为Linux），且配置VIP。 | 优点：Director只处理入站流量，吞吐量高，适合跨机房；缺点：配置复杂，需额外隧道开销。 |
| DR（直接路由） | Director修改请求报文的目标MAC地址为Real Server的MAC，通过二层网络转发；Real Server直接响应客户端，响应报文源IP为VIP。 | 进流量经过Director，出流量直达客户端 | Director和Real Server必须在同一物理网络（二层可达），且Real Server需配置VIP到回环接口并抑制ARP。 | 优点：性能最高，是生产中最常用的模式；缺点：Real Server和Director需在同一网段，且要处理ARP问题。 |
DR模式 是目前高负载集群实战中应用最广泛的模式，因为它避免了NAT模式的瓶颈，同时无需隧道封装的开销,以下重点介绍DR模式的配置与优化。
实战配置：LVS-DR模式
假设我们有一台Director（IP：192.168.1.10）和两台Real Server（RS1：192.168.1.11，RS2：192.168.1.12），VIP为192.168.1.100，所有服务器运行Linux,且在同一网段。
安装ipvsadm
在Director上执行：
Director配置VIP与规则
# 配置VIP到Director的网卡（如eth0:0） sudo ifconfig eth0:0 192.168.1.100 netmask 255.255.255.0 up # 添加虚拟服务，使用轮询算法 sudo ipvsadm -A -t 192.168.1.100:80 -s rr # 添加真实服务器，DR模式使用-r表示转发 sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.11:80 -g sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.12:80 -g # 查看规则 sudo ipvsadm -L -n
-g 表示使用DR模式；-i 表示TUN模式；-m 表示NAT模式，调度算法用 -s 指定，这里用 rr（轮询）。
Real Server配置VIP与ARP抑制
Real Server必须将VIP配置在回环接口（lo）上，并抑制ARP响应,避免对VIP的ARP请求产生冲突。
# 在RS1和RS2上 sudo ifconfig lo:0 192.168.1.100 netmask 255.255.255.255 up # 设置ARP抑制 echo "net.ipv4.conf.all.arp_ignore=1" >> /etc/sysctl.conf echo "net.ipv4.conf.all.arp_announce=2" >> /etc/sysctl.conf echo "net.ipv4.conf.lo.arp_ignore=1" >> /etc/sysctl.conf echo "net.ipv4.conf.lo.arp_announce=2" >> /etc/sysctl.conf sysctl -p
配置完成后，启动Web服务（如Nginx）,即可通过VIP访问集群。
验证与常见问题
使用 ipvsadm -L -n --stats 查看连接统计，如果Real Server无法响应，检查防火墙、ARP抑制是否生效，以及Real Server的路由表是否指向默认网关。
调度算法选择
LVS内置了多种调度算法,根据业务特点选择合适算法能提升性能：
- 轮询（rr）：将请求依次分发,适合后端服务器性能均等的情况。
- 加权轮询（wrr）：根据权重分配,适合服务器性能有差异的集群。
- 最少连接（lc）：将请求发送到当前连接数最少的服务器,适合长连接场景。
- 加权最少连接（wlc）：带权重的lc，是LVS默认算法,多数场景下表现良好。
- 源地址哈希（sh）：根据源IP哈希分配,实现会话保持。
高可用性方案：Keepalived + LVS
单台Director存在单点故障，引入Keepalived可实现高可用，Keepalived通过VRRP协议在两台Director之间共享VIP，当主Director故障时，备用Director接管VIP，并接管ipvsadm规则,确保服务不中断。
配置要点：
- 两台Director安装Keepalived，配置虚拟路由ID、优先级、认证等。
- 在Keepalived配置中定义virtual_server块，包含VIP、端口、真实服务器列表及健康检查（如HTTP_GET）。
- Keepalived会自动监控Real Server的健康状态,故障时从规则中移除。
性能优化实践
- 调整内核参数：在Director上增大net.ipv4.ip_forward=1（NAT模式需要），调整net.core.somaxconn、net.ipv4.tcp_syncookies等。
- 使用持久连接：对需要会话保持的应用，通过ipvsadm -p设置超时时间,避免因调度算法导致会话丢失。
- 硬件加速：使用多队列网卡、CPU亲和性绑定、中断平衡等提升Director处理能力。
- 避免单点瓶颈：对于超高流量场景，使用三层架构（如LVS + Nginx/Tengine），LVS做四层分发，Nginx做七层反向代理，结合缓存（如Squid）进一步降低后端压力。
LVS作为Linux内核自带的负载均衡方案，在高负载集群实战中扮演着关键角色，通过选择合适的模式（主要是DR）、调度算法，并结合Keepalived实现高可用，可以构建出稳定、高性能的负载均衡系统，它适用于Web服务、数据库集群、邮件服务器等多种场景,是生产环境中值得信赖的组件。
相关问答FAQs
问题1：LVS的DR模式为什么需要在Real Server上抑制ARP？
解答：在DR模式下，所有Real Server和Director都配置了相同的VIP（Real Server配置在回环接口上），当客户端或网关发送ARP请求询问VIP对应的MAC地址时，如果Real Server没有抑制ARP，多个服务器都会响应，导致ARP表混乱，请求可能直接发送到某一台Real Server而不是Director，破坏负载均衡效果，通过设置arp_ignore=1和arp_announce=2，Real Server只对来自其物理接口的ARP请求进行响应，且优先使用物理接口的MAC地址，从而确保只有Director响应VIP的ARP请求,保证流量统一经过Director。
问题2：LVS和Nginx负载均衡有什么主要区别？
解答：LVS和Nginx在负载均衡方面各有侧重，LVS工作在四层（传输层），基于IP和端口转发，对数据包进行修改或转发，处理速度快，性能极高，但无法理解应用层协议（如HTTP头部），Nginx工作在七层（应用层），可以解析HTTP请求，支持基于URL、Cookie、域名等的分发，具备更丰富的路由规则，但性能相对LVS稍低，尤其在高并发下，实际生产中常将两者结合：LVS作为前端四层负载均衡，将流量分发给多台Nginx实例，Nginx再作为七层反向代理分发给应用服务器,这样既获得高吞吐又具备灵活调度能力。
