平均负载

• 单位时间内，系统处于可运行状态（R)和不可中断状态(D)的平均进程数，也就是平均活跃进程数，和cpu没有直接关系。

• 那么进程常见状态解释和代号如下：

$ man ps
Here are the different values that the s, stat and state output specifiers (header "STAT" or "S") will display to describe the state of a process:
               D    uninterruptible sleep (usually IO）
               R    running or runnable (on run queue) ）
               S    interruptible sleep (waiting for an event to complete)
               T    stopped by job control signal
               t    stopped by debugger during the tracing
               W    paging (not valid since the 2.6.xx kernel)
               X    dead (should never be seen)
               Z    defunct ("zombie") process, terminated but not reaped by its parent

• 可运行状态进程：正在使用或者等待cpu的进程。ps命令看到的处于R状态(Running or Runnable)的进程。

• 不可中断状态进程：处于和IO访问状态，并且这些流程是不可打断的。比如常见的是等待硬件设备的/IO响应。ps命令看到的D状态（Uniterruptible Sleep 也称Disk Sleep)的进程。

  • 不可中断状态实际上是对进程和硬件的一种保护机制。
  • 比如：当一个进程向磁盘写数据时，为了保证数据一致性，在得到磁盘回复之前，它是不能被其它进程中断打断的，这个时候进程处于不可中断状态。

• 查看系统负载情况

# 周期性查看系统负载信息，并显示变化的部分
$ watch -d uptime
 当前时间  系统运行时间     正在登陆的用户 1分钟、5分钟、15分钟的平均负载
 07:49:31 up 1 day,  7:59,  1 user,  load average: 0.00, 0.01, 0.05

CPU使用率

• 单位时间内CPU繁忙情况的统计，和平均负载不一定完全对应。

平均负载高产生原因

• CPU密集型进程，使用大量CPU会导致平均负载高，此时cpu使用率也高。
• I/O密集型进程，等待I/O导致负载升高，但CPU使用率不一定高。
• 大量等待CPU的进程调度也会导致平均负载升高，此时CPU使用率也会比较高。

# 查看系统有几个cpu
$ grep 'model name' /proc/cpuinfo | wc -l
40

平均负载多少合理

• 平均负载理想情况是等于CPU个数。
• 一般平均负载高于CPU数量70%的时候，应该分析。（不是绝对）
• 负载变高会导致进程响应变慢，进而影响服务正常功能。

平均负载案例分析

• 压力测试工具：stress，用来模拟进程平均负载身高情况
• 性能分析工具：sysstat，用来监控分析系统性能，这个包包含了mpstat、pidstat两个命令
  • mpstat: 用来查看每个cpu性能指标，以及所有cpu平均指标。
  • pidstat: 实时查看进程的cpu、内存、I/O以及上下文切换等性能指标。

# 安装
$ sudo yum install sysstat  stress

查看应用是CPU密集型还是IO密集型

• 1.先查看当前系统负载uptime是否高

$ watch -d uptime

• 2.查看负载升高的原因？
  cpu密集（%usr)、io密集(%iowait,%system)、大量等待cpu进程调度(负载明显大于cpu数)

每隔5秒查看每个cpu的指标，以及整体cpu平均指标
$ mpstat -P ALL 5 

• 3.查看哪个应用造成了负载升高，即哪个应用，造成了上面的cpu密集（%CPU)、io密集(%system%wait)、大量等等cpu进程调度(%wait)。（如果当前系统只有一个应用，那就很方便了，不然，有可能是多个应用造成的）。

每隔5秒输出一组进程cpu使用数据（-u)
$ pidstat -u 5 1

测试环境

项目	说明
总的cpu核心	2
内存	4.3G

CPU密集型应用

# 开启两个worker进行耗费cpu计算
$ stress -c 2

$ uptime
# 负载大于cup核心数，说明负载高
16:34:34 up 45 min,  2 users,  load average: 3.00, 2.71, 1.59

用htop观察

$ htop

• 进程的颜色是绿色，cpu使用率高

  
  image.png

用mpstat

#每隔5秒查看每个cpu的指标，以及整体cpu平均指标
$mpstat -P ALL 5

• %usr值很高，%iowait低，说明cpu都花费在计算上
  image.png

用pidstat

• 查看进程cpu使用情况

每隔5秒输出一组进程cpu使用数据（-u)
$ pidstat -u 5

• 可以看到是stress引起的负载升高

• %usr高，说明stress进程cpu利用率高，%wait高，说明cpu不够用在等待cpu调度上花费了不少时间。

  
  看应用的cpu使用情况

# 查看pid=1859进程的cpu利用率情况
$pidstat -p 1859 -u 5

• %wait为33.8%，说明等待情况有点久。

  
  image.png

IO密集型应用

$stress -i 1

htop观察

• 最近1分钟的负载为1.02，说明当前的平均活跃进程为1（即状态为R或D的进程）

• 红色，代表当前使用cpu的进程是io型

• stress进程的状态为D

io密集型表现

mpstat

mpstat -P ALL 5

• %idle值搞，说明cpu整体在空闲。%iowait高，说明cpu在等待io上花费时间多。

  
  image.png

pidstat

• 查看进程io和cpu情况

pidstat -ud 5

• stress进程的iodelay延迟很高，但是rd，wr不高，cpu利率也底，说明在进行sync操作，都花在了io同步上了。

  
  image.png

大量等待CPU调度

# 进程数大于cpu数，会导致cpu切换频繁（此时系统cpu为4）
$stress -c 8

系统负载为8高于cpu个数4

mpstat

• 每个cpu利用率都高，但是过多进程竞争，也会导致cpu整体利用率高（all)

  
  

pidstat

• 可以看到，8个进程在竞争4个cpu，每个进程等待cpu的时间达到50%（%wait），这些超出cpu计算能力的进程，导致了负载变高

  
  竞争