软中断
2023-02-14 本文已影响0人
_Irving
软中断：为了处理中断处理程序执行过长和中断丢失的问题，linux将中断处理过程分成两个阶段，也就是上半部和下半部：
- 上半部：用来快速处理中断，它在中断禁止模式下运行，主要处理跟硬件紧密相关的或跟时间敏感的工作，直接处理硬件请求，也就是我们常说的硬中断，特点是快速执行
- 下半部:用来延迟处理上半部未完成的工作，通常以内核线程的方式运行。由内核触发，也就是我们常说的软中断。
当然软中断不只包括了硬件设备中断处理程序的下半部，一些内核自定义的事件也属于软中断，比如内核调度和RCU锁等
查看软中断和内核线程
proc文件系统是一种内核空间和用户空间进行通信的机制，可以用来查看内核的数据结构，或者用来动态修改内核的配置，其中：
/proc/softirqs 提供了软中断的运行情况
/proc/interrupts 提供了硬中断的运行情况
watch -d cat /proc/softirqs
#watch命令可以定期查看输出，-d高亮显示变化部分
查看软中断信息
$ watch -d cat /proc/softirqs
CPU0 CPU1
HI: 0 0
TIMER: 1083906 2368646
NET_TX: 53 9
NET_RX: 1550643 1916776
BLOCK: 0 0
IRQ_POLL: 0 0
TASKLET: 333637 3930
SCHED: 963675 2293171
HRTIMER: 0 0
RCU: 1542111 1590625
- 第一列显示软中断类别，总共有10个类别，分贝对应不同的工作类型；
- 要注意同一种软中断在不同的cpu上的分布情况，正常情况下，同一种中断在不同的cpu上的累计次数应该差不多
ps aux |grep softirq
软中断实际上是以内核线程的方式运行的，每个cpu都对应一个软中断内核线程，就叫做ksoftirqd/1,
查看其运行状况：
#注意，这些线程的名字外面都有中括号，一般来说，ps的输出中，名字括在括号里的，一般都是内核线程
[root@localhost proc]# ps aux|grep softirq
root 3 0.0 0.0 0 0 ? S Feb12 0:09 [ksoftirqd/0]
root 80681 0.0 0.0 112648 956 pts/1 R+ 00:59 0:00 grep --color=auto softirq
top
定位软中断问题，如下图：
image.png
- 关注%cpu行的si，当>0时，就有软中断产生
- 进程列表中如圈出的这种就是软中断内核进程
sar
使用watch -d cat /proc/softirqs看到变化速率最快的是NET_RX（网络接收），那么我们就可以使用sar来观察网络的接收情况，不仅可以观察网络收发的吞吐量（BPS，每秒收发的字节数），还可以观察网络收发的PPS，即每秒收发的网络帧数。
[root@localhost proc]# sar -n DEV 1
Linux 3.10.0-327.el7.x86_64 (localhost.localdomain) 02/14/23 _x86_64_ (1 CPU)
01:21:59 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
01:22:00 eno16777736 1.00 1.00 0.06 0.17 0.00 0.00 0.00 0.00
01:22:00 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
- 第一列：表示报告的时间。
- 第二列：IFACE 表示网卡。
- 第三、四列：rxpck/s 和 txpck/s 分别表示每秒接收、发送的网络帧数，也就是 PPS。
- 第五、六列：rxkB/s 和 txkB/s 分别表示每秒接收、发送的千字节数，也就是 BPS
tcpdump
怀疑是网络接收中断的问题，若上面sar的结果eno16777736的接收网络帧和字节数异常，我们使用tcpdump来抓包查看
#-i eno16777736只抓取该网卡，-n不解析协议名和主机名
#tcp port 80表示只抓取tcp协议并且端口号为80的网络帧
[root@localhost ~]# tcpdump -i eno16777736 -n tcp port 80
