lvs是做什么的
lvs通常用做tcp/udp协议的四层负载均衡
相比也可以用于四层负载的Nginx组件，Lvs因为运行在内核态，性能高是它的主要优势，同样，因为运行在内核态中，无法像Nginx那样，对四层的tls做卸载等动作。
lvs性能相关指标(用户视角)
客户端的连接数
- UDP模式下，按连接超时时间计算（根据业务需求决定）。可通过ipvsadm -l --timeout来查看udp超时时间
- TCP模式下，即为tcp连接数
客户端请求流量
即client与lvs、lvs与RS之间交互的流量
客户端请求平均包大小
即client与lvs、lvs与RS之间的平均包大小
lvs性能相关参数
会话超时时间
查看
ipvsadm -l --timeout修改
ipvsadm --set ${tcptimeout} ${tcpfintimeout} ${udptimeout}vm conntrack最大个数
查看
sysctl -a |grep net.netfilter.nf_conntrack_max查看当前nf_conntrack个数
# 方式一
conntrack -C
# 方式二
cat /proc/net/nf_conntrack | wc -l修改
sysctl -w net.netfilter.nf_conntrack_max=1024hashsize
什么是hashsize
hashsize也就是nf_conntrack_buckets，如果不手动指定。linux会根据机器的内存计算。如果要支持海量的nf_conntrack，则可以适当调大。
// nf_conntrack_core.c
nf_conntrack_htable_size
= (((nr_pages << page_shift 16384 sizeofstruct hlist_head if bits_per_long>= 64 &&
nr_pages > (4 * (1024 * 1024 * 1024 / PAGE_SIZE)))
nf_conntrack_htable_size = 262144;
else if (nr_pages > (1024 * 1024 * 1024 / PAGE_SIZE))
nf_conntrack_htable_size = 65536;
if (nf_conntrack_htable_size < 1024)
nf_conntrack_htable_size = 1024;hlist_head的大小在64位的机器下大小为16
查看
cat /sys/module/nf_conntrack/parameters/hashsize修改 （方式一）
echo 65536 > /sys/module/nf_conntrack/parameters/hashsize修改（方式二）永久生效
# exmaple file, you can modify this config if exists. File name doesn't matter.
# 样例文件，你可以修改已存在的这个文件。文件名称并不重要。
touch /etc/modprobe.d/lvs.conf
echo "options nf_conntrack hashsize=65536" >> /etc/modprobe.d/lvs.conf
# then you need reboot
# 需要重试来使配置生效文件句柄数
查看
ulimit -n修改
不同的linux发行版，修改方式不太一样，以RedHat为例
num=`ulimit -n`
sed -i "s|$num|65536|g" /etc/security/limits.d/*-nofile.conflvs性能瓶颈
虚拟机内存
contnrack使用slab分配内存，可以通过slabtop命令查看nf_conntrack模块占用的内存。当连接数较高时，Lvs的内存瓶颈在于会话管理。
conntrack最大理论内存占用为
max_mem_used = conntrack * max * sizeof (struct nf_conntrack) + conntrack_buckets * sizeof (struct list_head)使用如下python代码计算
import ctypes
# 这个是nf_conntrack的动态库所在路径
# libnetfilter git地址 git://git.netfilter.org/libnetfilter_conntrack
LIBNETFILTER_CONNTRACK = '/usr/lib/aarch64-linux-gnu/libnetfilter_conntrack.so.3.7.0'
nfct = ctypes.CDLL(LIBNETFILTER_CONNTRACK)
print("max size of struct nf_conntrack:")
print(nfct.nfct_maxsize())
print("sizeof(struct list_head):")
print(ctypes.sizeof(ctypes.c_void_p) * 2)其中nfct_maxsize出自于
git://git.netfilter.org/libnetfilter_conntrack中的src/conntrack/api.c
/**
* nfct_maxsize - return the maximum size in bytes of a conntrack object
*/在如下操作系统下
uname -a
> Linux primary 5.4.0-122-generic #138-Ubuntu SMP Wed Jun 22 15:05:39 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux以100万conntrack_max，65536buckets为例，占用的内存为
1_000_000 * 392 + 65536 * 16 约等于 373.84 + 1 为374M内存
网卡流量
最大进出带宽。在云上，通常由云厂商限制。如果你将lvs上面的浮动Ip通过EIP的方式暴露出去（这很常见），还需要考虑EIP自身的带宽
网卡进出包个数（PPS)
最大进出包个数
虚拟机能支持的最大网络连接数
ECS上可以支持的最大网络连接数。在云上，通常由云厂商限制
Lvs监控&扩容
cpu使用率
可在超过百分之80的时候告警。处理方式：
- 如果内存还没有到达瓶颈，可以通过扩大hashsize的方式，降低hash链上元素的个数，减少匹配消耗的cpu
- 如果内存水位也较高。对CPU进行扩容
内存使用率
可在超过内存容量百分之80的时候告警。处理方式：扩容内存
conntrack个数
通过conntrack -C或cat /proc/net/nf_conntrack | wc -l, 定期进行统计，使用sysctl -w
net.netfilter.nf_conntrack_max进行扩容
网卡流量、网卡进出包个数
可以利用云厂商的监控或nicstat命令查看。处理方式：扩容网卡
最大网络连接数
可以利用云厂商的监控或netstat -an|egrep "tcp|udp"|grep -v "LISTEN"|wc -l查看。处理方式：扩容ECS规格
EIP带宽
通过云厂商的指标来监控。处理方式，扩容EIP的BGP带宽