Linux 如何正确监控 ulimit
2022-06-14 本文已影响0人
六层楼那么高
1 统计占用文件句柄数常见误区
Linux 上运行的程序经常能遇到 "max open files" 的报错，这是由于 linux 对程序以及系统打开的 open files 有限制，当打开的 files 数大于设定的阈值就会报错。需要注意的是，出现这个报错可能有两种情况：
- 当前程序打开的文件描述符超过了设置的阈值：ulimit -a 查看
- 系统所有程序打开的总文件描述符，超过系统最大值， 系统最大值通过 cat /proc/sys/fs/file-max 查看
一般系统级的配置较大，大部分出现都是情况 1。相关的配置一般在/etc/security/limits.conf。例如，这里对用户 yao 配置了 nofile（max open file number） 阈值为：100。
#<domain> <type> <item> <value>
#
#* soft core 0
#ftp - chroot /ftp
#@student - maxlogins 4
yao soft nofile 100
yao hard nofile 100
基于此，监控应用程序当前的 open files 不可或缺。但很多同学习惯性的通过以下方式去监控： lsof -p pid | wc -l ，实际上这样的方式是不准确的。
lsof 命令可以查看文件句柄占用具体情况，但是统计的数据经常会大于实际值，不建议用来统计准确的 open files 占用数。
2 正确的方式
2.1 查看当前配置的阈值
ulimit 对 “open files” 的限制，配置是以用户的维度去配置的，但应用于实际的应用程序，可以通过以下命令查看，如下；
cat /proc/${pid}/limits
yao@xx:~$ cat /proc/997/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 31514 31514 processes
Max open files 13 13 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 31514 31514 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
2.2 正确的统计方式
准确的统计程序文件句柄占用的方式：
sudo ls -l /proc/**process_id**/fd | wc -l
如果要用 lsof 来准确的统计，需要过滤掉一些 fd 类型，命令如下：
lsof -P -M -l -n -d '^cwd,^err,^ltx,^mem,^mmap,^pd,^rtd,^txt' -p __process_id__ -a | awk '{if (NR>1) print}' | wc -l
参数解释：
- "-P -M -l -n" 是为让 lsof 命令更快，解释如下：
-P - inhibits the conversion of port numbers to port names for network files
-M - disable reporting of portmapper registrations for local TCP, UDP and UDPLITE ports
-l - inhibits the conversion of user ID numbers to login names
-n - inhibits the conversion of network numbers to host names for network files
-
"-d '^cwd,^err,^ltx,^mem,^mmap,^pd,^rtd,^txt'"是让lsof排除过滤掉一下 fd 类型: cwd/err/ltx/mem/mmap/pd/rtd/txt. 为什么要过滤，下文会介绍。
3 lsof 的问题
3.1 lsof 以及 FD
在 Linux 中一切皆文件，一个 open file 可能是一个常规的文件，目录，特定的块文件，或者网络连接 socket 等等。所以 lsof 出来的 FD 类型是非常多。通过 man lsof 可以看到 lsof 对 FD 的描述，lsof 出的 FD 有两种类型：
1.文件描述符：采用数字 + 模式（r/w/u/-) 。例如：17w 代表文件描述符为 17，写模式。18r 代表文件描述符 18，读模式
2.其他文件类型：cwd(当前目录)、Lnn、err（错误信息），mem（内存映射文件） 等，具体含义如下。
问题在于例如： mem 这类 FD （常见的有 .so .jar 文件），实际不占 ulimit 的 FD 的。
FD is the File Descriptor number of the file or:
cwd current working directory;
Lnn library references (AIX);
err FD information error (see NAME column);
jld jail directory (FreeBSD);
ltx shared library text (code and data);
Mxx hex memory-mapped type number xx.
m86 DOS Merge mapped file;
mem memory-mapped file;
mmap memory-mapped device;
pd parent directory;
rtd root directory;
tr kernel trace file (OpenBSD);
txt program text (code and data);
v86 VP/ix mapped file;
FD is followed by one of these characters, describing the mode under which the file is open:
r for read access;
w for write access;
u for read and write access;
space if mode unknown and no lock
character follows;
`-' if mode unknown and lock
character follows.
3.1 测试验证
参考 # Why (or how) does the number of open file descriptors in use by root exceed ulimit -n? 中 Jinesh Choksi 的回答。
- 设置用户的 nofile 阈值为 100
- 通过 debug 的方式，perl -d text.pl 运行脚本，不断 open file，写数据，输入 c 然后 enter。代码如下：
#!/usr/bin/perl -w
foreach $i (1..110) {
$FH="FH${i}";
open ($FH,'>',"/tmp/Test${i}.log") || die "$!";
print $FH "$i\n";
}
- 查看结果：
lsof 统计值大于实际值，因为里面多了：cwd mem txt 等类型的 FD
sudo ls -l /proc/1448/fd |wc -l
100
lsof -p 1448 | wc -l
126
yao@xx:~$ lsof -p 1448 | more
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
perl 1448 yao cwd DIR 8,16 4096 1523 /home/yao
perl 1448 yao rtd DIR 8,16 4096 2 /
perl 1448 yao txt REG 8,16 2097720 3267 /usr/bin/perl
perl 1448 yao mem REG 8,16 18704 11732 /usr/lib/x86_64-linux-gnu/perl/5.26.1/auto/IO/IO.so
perl 1448 yao mem REG 8,16 14528 11678 /usr/lib/x86_64-linux-gnu/perl/5.26.1/auto/Cwd/Cwd.so
perl 1448 yao mem REG 8,16 1516558 4002 /usr/lib/locale/C.UTF-8/LC_COLLATE
perl 1448 yao mem REG 8,16 39208 37473 /lib/x86_64-linux-gnu/libcrypt-2.27.so
perl 1448 yao mem REG 8,16 2030928 37471 /lib/x86_64-linux-gnu/libc-2.27.so
perl 1448 yao mem REG 8,16 144976 37486 /lib/x86_64-linux-gnu/libpthread-2.27.so
perl 1448 yao mem REG 8,16 1700792 37475 /lib/x86_64-linux-gnu/libm-2.27.so
perl 1448 yao mem REG 8,16 14560 37474 /lib/x86_64-linux-gnu/libdl-2.27.so
perl 1448 yao mem REG 8,16 179152 37467 /lib/x86_64-linux-gnu/ld-2.27.so
perl 1448 yao mem REG 8,16 199772 4003 /usr/lib/locale/C.UTF-8/LC_CTYPE
perl 1448 yao mem REG 8,16 50 4010 /usr/lib/locale/C.UTF-8/LC_NUMERIC
perl 1448 yao mem REG 8,16 3360 4013 /usr/lib/locale/C.UTF-8/LC_TIME
perl 1448 yao mem REG 8,16 270 4008 /usr/lib/locale/C.UTF-8/LC_MONETARY
perl 1448 yao mem REG 8,16 48 4007 /usr/lib/locale/C.UTF-8/LC_MESSAGES/SYS_LC_MESSAGES
perl 1448 yao mem REG 8,16 34 4011 /usr/lib/locale/C.UTF-8/LC_PAPER
perl 1448 yao mem REG 8,16 62 4009 /usr/lib/locale/C.UTF-8/LC_NAME
perl 1448 yao mem REG 8,16 131 4001 /usr/lib/locale/C.UTF-8/LC_ADDRESS
perl 1448 yao mem REG 8,16 47 4012 /usr/lib/locale/C.UTF-8/LC_TELEPHONE
perl 1448 yao mem REG 8,16 23 4005 /usr/lib/locale/C.UTF-8/LC_MEASUREMENT
perl 1448 yao mem REG 8,16 1683056 4014 /usr/lib/locale/locale-archive
perl 1448 yao mem REG 8,16 26376 37740 /usr/lib/x86_64-linux-gnu/gconv/gconv-modules.cache
perl 1448 yao mem REG 8,16 252 4004 /usr/lib/locale/C.UTF-8/LC_IDENTIFICATION
perl 1448 yao 0u CHR 136,0 0t0 3 /dev/pts/0
perl 1448 yao 1u CHR 136,0 0t0 3 /dev/pts/0
perl 1448 yao 2u CHR 136,0 0t0 3 /dev/pts/0
perl 1448 yao 3r REG 8,16 19774 26543 /usr/share/perl/5.26.1/Term/Cap.pm
perl 1448 yao 4u CHR 5,0 0t0 2058 /dev/tty
perl 1448 yao 5u CHR 5,0 0t0 2058 /dev/tty
perl 1448 yao 6w REG 8,16 0 2436 /tmp/Test1.log
perl 1448 yao 7w REG 8,16 0 2516 /tmp/Test2.log
perl 1448 yao 8w REG 8,16 0 2518 /tmp/Test3.log
perl 1448 yao 9w REG 8,16 0 2522 /tmp/Test4.log
perl 1448 yao 10w REG 8,16 0 2526 /tmp/Test5.log
perl 1448 yao 11w REG 8,16 0 180041 /tmp/Test6.log
perl 1448 yao 12w REG 8,16 0 180042 /tmp/Test7.log
perl 1448 yao 13w REG 8,16 0 180043 /tmp/Test8.log
perl 1448 yao 14w REG 8,16 0 180044 /tmp/Test9.log
排除这些 FD 之后，统计值就对了
yao@xx:~$ lsof -P -M -l -n -d '^cwd,^err,^ltx,^mem,^mmap,^pd,^rtd,^txt' -p 1448 -a | awk '{if (NR>1) print}' | wc -l
100
参考：
https://access.redhat.com/solutions/1210583
https://serverfault.com/questions/396872/why-or-how-does-the-number-of-open-file-descriptors-in-use-by-root-exceed-u
