Linux进程管理与计划任务
进程相关概念
内核的功能
进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等。
process
进程,正在运行中的程序的一个副本,是被加载到内存中的指令集和。
- PID:进程ID,标记进程。
- init: linux中有一个总进程init,这个是第一个进程,其他进程都由这个总进程创建。
进程优先级
- 系统优先级(0--139):数字越小,优先级越高。
- 实时优先级(99--0):值越大,优先级越高。静态优先级
- nice(-20--19):对应系统的100--139 。动态优先级
- Big :时间复杂度,用户和规模的关系。
- LRU算法:淘汰不用时间最长的数据。
进程的执行需要环境,我们称之为上下文(context),也就是包含一些进程的属性(进程的执行者,PID,selinux机制,组身份)linux内核的进程工作方式是:抢占式多任务(也就是分时操作系统)。
进程类型
- 守护进程:daemon,在系统引导过程中启动的进程,和终端无关进程。系统启动后自动加载到内存中在后台运行,也就是后台进程。
- 前台进程:跟终端相关,通过终端启动的进程。关闭终端就会中断。
进程状态
运行态 running
就绪态 ready
睡眠态:可中断 interruptable
不可中断 UNinterruptable
停止态:stopped 暂停于内存,但不会被调度,除非手动启动
僵死态:zombie 结束进程,父进程结束前,子进程不关闭,这种进程已经处于死状态,没法再次杀死,只能进行重启系统才可以释放内存。
系统管理工具
进程的分类
- CPU-bound :CPU密集型,主要使用CPU进行计算或逻辑判断的进程
- I/O-bound :IO密集型,主要使用内存和硬盘进行读写的进程。
Linux系统状态的查看及管理工具
pstree ps pidof pgrep top htop glance pmap vmstat dstat kill pkill job bg fg nohup
pstree
pstree.png将进程以树状结构显示,子进程为叶子节点,其中用{ } 括起来的是线程。线程依附于进程,不能独立存在,进程是独立内存空间的,线程是可以共享内存空间的,线程属于轻量级的。
知识小扩展: 可以将
httpd
服务的进程改为线程,一般httpd
服务是新建一个进程为用户提供服务,我们可以将其使用线程来为用户提供服务,这样就可以节省内存资源。可以修改如下文件:vim /etc/sysconfig/httpd
将配置文件中的#HTTPD=/usr/sbin/httpd.worker
前的#
去掉,使该配置生效,重启服务就可以了:service httpd restart
ps
报告当前进程的快照(所谓的快照也就是当前瞬间的状态)
Linux中各个进程的相关信息都保存在/proc/目录下,对应各个进程PID的文件夹,里面有进程的所有详细信息。
- 支持三种选项:
- UNIX选项 如-A -e 加-的选项风格
- BSD选项 如a 不加-的选项风格
- GNU选项 如--help --这种长格式风格
ps使用不同风格的选项显示结果是不同的,拿ps -a 这个例子来说,
* ps a BSD风格,显示比较详细
* ps -a UNIX风格,显示不详细。这个是一个小小的区别。
选项:默认显示当前终端中的进程
• a 选项包括所有终端中的进程
• x 选项包括不链接终端的进程,也就是包括后台(守护)进程
• u 选项显示进程所有者的信息
• f 选项显示进程的父进程,同时显示父进程的PPID
• k|--sort 属性 对属性排序
• o 属性… 选项显示定制的信息 ,后可接以下的参数,指定显示特定的信息,该选项必须放在所有选项的最后,紧跟参数。
pid、comm、%cpu、%mem、state、VSZ、RSZ、tty、euser、ruser
对于带有suid权限的二进制命令来说,该二进制文件属于A,当另一个B用户执行该二进制文件的时候,这个命令的生效者是A,而命令的发起者是B
-
参数的解释:
- VSZ: Virtual memory SiZe,虚拟内存集,线性内存
- RSS: ReSident Size, 常驻内存集
- ni: nice值
- pri: priority 优先级
- psr: processor CPU编号
- rtprio: 实时优先级
- STAT:进程状态
- R:running
- S: interruptable sleeping
- D: uninterruptable sleeping
- T: stopped
- Z: zombie
- +: 前台进程
- l: 多线程进程
- L:内存分页并带锁
- N:低优先级进程
- <: 高优先级进程
- s: session leader,会话(子进程)发起者
常用组合
aux
auo
-efps -C commod 可显示某一命令的进程信息,-C 就是指command
-
进程优先级
- 进程优先级调整:
- 静态优先级:100---139
进程默认启动时的nice 值是0,优先级为120
只有root用户才能降低nice值(提高优先级)
- 静态优先级:100---139
- 进程优先级调整:
nice 命令
nice -n -10 命令 :指定命令执行的优先级
renice 命令:
renice 10 pid 调整正在运行的进程的优先级,重新设置进程优先级(-20----19)
- 查看进程优先级
ps axo pid,commod,nice 其中axo中的o必须放后面
pgrep
pgrep 工具:专门支持进程搜索
pgrep [option]-u uid: effective user,生效者
-U uid: real user,真正发起运行命令者
-t terminal: 与指定终端相关的进程,指定终端。
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示指定进程的子进程
pgrep命令支持正则表达式:
pgrep -a "^vi.*"
pidof###
显示服务或命令的进程pid,可以用来监控服务
pidof bash 显示命令的进程号
如果某个服务没有启动,这时候查找不到进程号,这个时候的echo $?查看到的返回值为1 ,可以用这个原理进行监控功能服务是否正常,如果服务关闭了,可以重新启动。
pidof httpd > /dev/null || systemctl restart httpd.service
tu!!!!!!!
uptime
显示系统的负载均衡
显示当前时间,系统已启动的时间、当前上线人数,系统平均负载(1、5、10分钟的平均负载,一般不会超过1)(如果超过了1,说明每一分钟就会有一个进程在等待,完成不了。)
-
系统平均负载:
指在特定时间间隔内运行队列中的平均进程数
通常每个CPU内核的当前活动进程数不大于3,那么系统的性能良好。如果每个CPU内核的任务数大于5,那么此主机的性能有严重问题
如果linux主机是1个双核CPU,当Load Average 为6的时候说明机器已经被充分使用
tu!!!!!!!!
top
进程监视工具
(空间概念:用户空间(应用程序不需要使用内核,该程序的进程就在用户空间中进行)内核空间(应用程序的进程需要加载内核进行,内核所使用的空间就是内核空间)
排序
P:以占据的CPU百分比,%CPU
M:占据内存百分比,%MEM
T:累积占据CPU时长,TIME+
首部信息显示
uptime信息: l命令
tasks及cpu信息: t命令
cpu分别显示: 1 (数字)
memory信息: m命令
退出命令: q
修改刷新时间间隔: s
终止指定进程: k
保存文件: W(大写)
栏位信息简介
us:用户空间
sy:内核空间
ni:调整nice时间
id:空闲
wa:等待IO时间
hi:硬中断
si:软中断(模式切换)
st:虚拟机偷走的时间
-
进入top之前可以指定选项:
- 选项:
-d #: 指定刷新时间间隔,默认为3秒
-b: 全部显示所有进程
-n #: 刷新多少次后退出
- 选项:
-
进入top后有如下快捷键:
按t
可以打开和关闭'tasks行' 和'%CPU行'(centos6)(centos7中会有些不一样)
按1
可以显示所有CPU内核的利用率
按m
可以打开和关闭'Mem行'和'Swap行'
按s
可以输入数字,修改刷新时间间隔
按l
可以打开和关闭首部的top行信息
按k
可以输入进程的PID杀死进程
htop
**需从Fedora-EPEL源安装**
选项:
-d #: 指定延迟时间;
-u UserName: 仅显示指定用户的进程
-s COLUME: 以指定字段进行排序
子命令:
s: 跟踪选定进程的系统调用
l: 显示选定进程打开的文件列表
a:将选定的进程绑定至某指定CPU核心
t: 显示进程树
内存工具
vmstat
虚拟内存信息
-s: 显示内存的统计数据
vmstat 2 加一个数字是指定每隔几秒刷新一次,
vmstat 2 5 加两个数字,前一个数字是表示每隔多少秒刷新一次,后一个数字是指刷新多少次退出。
-
vmstat 命令结果中的菜单项
- procs:
r:可运行(正运行或等待运行)进程的个数,和核心数有关
b:处于不可中断睡眠态的进程个数(被阻塞的队列的长度) - memory:
**swpd: **交换内存的使用总量
free:空闲物理内存总量
buffer:用于buffer的内存总量
cache:用于cache的内存总量 - swap:
si:从磁盘交换进内存的数据速率(kb/s)
so:从内存交换至磁盘的数据速率(kb/s)
io:
bi:从块设备读入数据到系统的速率(kb/s)
**bo: **保存数据至块设备的速率 - system:
in: interrupts 中断速率,包括时钟
cs: context switch 进程切换速率 - cpu:
us:Time spent running non-kernel code (用户空间利用率)
sy:Time spent running kernel code (系统内核空间利用率)
id:Time spent idle. Linux 2.5.41前,包括IO-wait time.(CPU空闲百分比)
wa: Time spent waiting for IO. 2.5.41前,包括in idle. (CPU等待IO时间)
st: Time stolen from a virtual machine. 2.6.11前, unknown.(被偷走的内存空间)
- procs:
iostat
统计CPU和设备IO信息
示例
iostat 1 10
iostat 2 加一个数字是指定每隔几秒刷新一次,
iostat 2 5 加两个数字,前一个数字是表示每隔多少秒刷新一次,后一个数字是指刷新多少次退出。
pmap
进程对应的内存映射,进程的运行占用内存的地址对应关系
- pmap [options] pid [...]
-x | -d : 显示详细格式的信息- 示例:pmap 1
另外一种实现:
cat /proc/PID/maps
- 示例:pmap 1
系统监控工具
glances
glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-Ppassword] [--password] [-t refresh] [-f file] [-o output]
内建命令:
a Sort processes automatically
l Show/hide logs
c Sort processes by CPU%
b Bytes or bits for network I/O
m Sort processes by MEM%
w Delete warning logs
p Sort processes by name
x Delete warning and critical logs
i Sort processes by I/O rate
1 Global CPU or per-CPU stats
d Show/hide disk I/O stats
h Show/hide this help screen
f Show/hide file system stats
t View network I/O as combination
n Show/hide network stats
u View cumulative network I/O
s Show/hide sensors stats
q Quit (Esc and Ctrl-C also work)
y Show/hide hddtemp stats
常用选项:
-b: 以Byte为单位显示网卡数据速率
-d: 关闭磁盘I/O模块
-f /path/to/somefile: 设定输入文件位置
-o {HTML|CSV}:输出格式
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1:每个CPU的相关数据单独显示
- C/S模式下运行glances命令
-
服务器模式:
glances -s -B IPADDR
IPADDR: 指明监听的本机哪个地址
也可以不指定-B IPADDR,这样默认监听本机上所有的端口,客户端可以通过任意一个本机的IP地址进行监控。一旦-B IPADDR之后,就将glances服务器端绑定到了固定的Ip上,客户端只有通过绑定的IP地址才可以进行监控。 -
客户端模式:
glances -c IPADDR
IPADDR:要连入的服务器端地址
-
服务器模式:
dstat
系统资源统计,代替vmstat,iostat
- dstat [-afv] [options..] [delay [count]]
-c: 显示cpu相关信息
-C #,#,...,total
-d: 显示disk相关信息
-D total,sda,sdb,...
-g:显示page相关统计数据
-m: 显示memory相关统计数据
-n: 显示network相关统计数据
-p: 显示process相关统计数据
-r: 显示io请求相关的统计数据
-s: 显示swapped相关的统计数据
kill
向进程发送控制信号,以实现对进程管理,每个信号对应一个数字,信号名称以SIG开头(可省略),不区分大小写,kill命令默认发送15代码信号。
显示当前系统可用信号: kill –l,trap -l
常用信号:man 7 signal
kill命令并不是只是用来杀死进程的,它是用来给进程发送信号的,所谓的杀死进程其实是,给进程发送信号,让进程自己自动终结。
1) SIGHUP: 无须关闭进程而让其重读配置文件
2) SIGINT: 中止正在运行的进程;相当于Ctrl+c
3) SIGQUIT:相当于ctrl+\
9) SIGKILL: 强制杀死正在运行的进程
15) SIGTERM:终止正在运行的进程
18) SIGCONT:继续运行
19) SIGSTOP:后台休眠
指定信号的方法:
(1) 信号的数字标识:1, 2, 9
(2) 信号完整名称:SIGHUP (3) 信号的简写名称:HUP
kill -0 pid 使用0信号,可以对进程进行错误检查。如果进程不正常,会返回错误信息,返回值为非0,如果进程正常返回正确的0值,这个可以用来检测进程是否正常。
对于有些进程是不能杀死的,例如tty2、tty3、tty4、tty5、tty6这些控制台进程是杀不死的。
kill (tty)pid (默认发送15代码信号)杀不死
kill -9 (tty)pid 杀不死
可以有杀死的办法:
先将所有进程的父进程pid=1 init这个进程杀死。虽然杀不死,但是会对init这个进程造成一定得伤害,使init进程自身的一些功能受到一些破坏,造成进程的不完整性。
这个时候再次进行kill -9 tty(pid) 就会把控制台终端进程杀死。
Killall、pkill
killall Pname :指定进程名,可以批量杀死进程,不需要一个个指定进程编号那么麻烦。
- pkill [options] pattern
-
option
-SIGNAL
-u uid: effective user,生效者
-U uid: real user,真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名(pgrep可用)
-a: 显示完整格式的进程名(pgrep可用)
-P pid: 显示指定进程的子进程
可加选项指定特定进程特定的条件将进程杀死。
-
option
作业管理
Linux的作业控制
前台作业:通过终端启动,且启动后一直占据终端;
后台作业:可通过终端启动,但启动后即转入后台运行(释放终端)
作业在后台有两种状态:后台运行、后台休眠
(1) 运行中的作业: Ctrl+z 将作业放入后台休眠
(2) 尚未启动的作业:# COMMAND & 命令后加上& 符号
后台作业虽然被送往后台运行,但其依然与终端相关;退出终端,将关闭后台作业。如果希望送往后台后,剥离与终端的关系
- nohup COMMAND &
例如:nohup ping 127.0.1 & 关闭终端后,作业仍然在后台进行作业不会中断。 - screen;COMMAND
这个是新开一个screen,将作业放进去执行。
查看当前终端所有作业
# jobs 显示后台作业的编号
作业控制
# fg [作业的编号]:把指定的后台作业调回前台
# bg [作业的编号]:让送往后台的作业在后台继续运行
# kill [%作业的编号]: 终止指定的作业(作业编号前要加%)
作业并行运行
同时运行多个进程,提高效率,这个思想也可以作用与命令,可以让不同的命令并行执行。方法1
vi all.sh
编写一个脚本,在脚本中添加不同的脚本或命令,在每一个脚本或命令后加上一个&
符号
f1.sh&
f2.sh&
f3.sh&
方法2
(f1.sh&);(f2.sh&);(f3.sh&)
可以作用与脚本或命令
方法3
{ f1.sh& f2.sh& f3.sh& }
可以作用与脚本或命令
任务计划
- 执行一次:
at
在指定的时间点执行一次指定的命令 - 空闲时执行:
batch
系统自动选择空闲的时间去执行指定的命令(也就是系统负载较低的情况下) - 周期性执行:
cron
根据指定的时间自动的周期性执行指定的动作。
at
(交互式任务计划,按Ctrl + D 完成指定任务退出交互)
可以通过管道和重定向将计划任务输入at,例如:
cat at.txt | at 14:00
at 14:00 < at.txt
首先需要安装at包
安装完后需要启动该服务,在不同的操作系统下服务位置不同,例如:
centos6中
/etc/rc.d/init.d/atd 服务路径
service atd start 启动服务
centos7中
/usr/lib/systemd/system/atd.service 服务路径
systemctl start atd.service 启动服务
chkconfig atd.service on 指定开机自启动
- 常用选项:
-V 显示版本信息:
-l 列出指定队列中等待运行的作业;相当于atq
-d:删除指定的作业;相当于atrm
-c 查看具体作业任务
-f /path/from/somefile:从指定的文件中读取任务
-m 当任务被完成之后,将给用户发送邮件,即使没有标准输出
注意:作业执行命令的结果中的标准输出和错误以邮件通知给相关用户
**时间格式**:
可以在具提的时间点后加上时间来指定执行的时间,例如:
at now + 5 minutes
时间点有:noon(12:00) midnight(24:00) teatime(16:00) tomorrow
now + {minutes,hours,days, OR weeks}
HH:MM 02:00
在今日的 HH:MM 进行,若该时刻已过,则明天此时执行任务
HH:MM YYYY-MM-DD 02:00 2016-09-20
规定在某年某月的某一天的特殊时刻进行该项任务
HH:MM[am|pm] [Month] [Date]
04pm March 17
17:20 tomorrow
HH:MM[am|pm] + number [minutes|hours|days|weeks]
在某个时间点再加几个时间后才进行该项任务
now + 5 minutes
02pm + 3 days
at 任务队列存放在:/var/spool/at/目录中
并不是所有的用户都可以使用at命令:
安装过at命令后会有两个文件:
白名单:/etc/at.allow 默认不存在
黑名单:/etc/at.deny 默认存在
白名单和黑名单中放用户名,有如下几种情况:
两个文件都不存在,只有root用户可以使用at计划任务
如果不存在白明单,不在黑名单中的用户可以使用at命令。
存在白名单,白名单的优先级高于黑名单,有白名单黑名单就不起作用,不在白名单中的用户不能使用at命令。
cron
周期性计划任务(计划任务中不要有标准输出,否则会以邮件方式发送个管理员)
相关的程序包:
cronie: 主程序包,提供crond守护进程及相关辅助工具
cronie-anacron:cronie的补充程序,用于监控cronie任务执行状况,如cronie中的任务在过去该运行的时间点未能正常运行,则anacron会随后启动一次此任务
crontabs:包含CentOS提供系统维护任务
创建周期性任务的命令是主程序包提供的crontab命令:/usr/bin/crontab
首先要保证crond.service 服务开启
centos6 :service crond.service start
centos7 :systemctl start crond.service
周期性计划任务的日志在:/var/log/cron
- 创建周期性计划任务有两种方法:
- 一、通过编辑文件:/etc/crontab
在该文件中编辑指定时间就可以了格式为:
* * * * * user command - 二、通过命令进行指定:
crontab -e 该命令一执行就会自动进入编辑类似于/etc/crontab的文件,格式也是:
* * * * * user command
- 一、通过编辑文件:/etc/crontab
- 时间表示法:
- (1) 特定值
给定时间点有效取值范围内的值- (2) *
给定时间点上有效取值范围内的所有值
表示“每...”- (3) 离散取值
#,#,# 1,4,6
- 时间表示法
- (4) 连续取值
#-# 6-19
(5) 在指定时间范围上,定义步长
/#: #即为步长 例如:*/5(没五分钟执行一次)
在文件中也可以这样编辑:
例如
@reboot root echo nihao 每次重启之后以root身份执行命令。
@yearly root echo nihao 每年执行一次
@reboot Run once after reboot.
- @yearly 0 0 1 1 *
+ @annually 0 0 1 1 *
+ @monthly 0 0 1 * *
+ @weekly 0 0 * * 0
+ @daily 0 0 * * *
+ @hourly 0 * * * *
示例:每3小时echo和wall命令
0 */3 * * * centos /bin/echo “howdy”;/usr/bin/wall “welcome to jiakehome!”
系统的计划任务:
/etc/crontab
/etc/cron.d/ 配置文件
/etc/cron.hourly/ 脚本
/etc/cron.daily/ 脚本
/etc/cron.weekly/ 脚本
/etc/cron.monthly/脚本
定义了每周、每天、每月、每小时要执行的计划任务
选项
-l: 列出所有任务;
-e: 编辑任务;
-r: 移除所有任务;
-i:同-r一同使用,以交互式模式移除指定任务
-u user: 仅root可运行,指定用户管理cron任务
crontab这命令任何用户都可以使用,它也有白名单和黑名单,
白名单:/etc/cron.allow 默认不存在
黑名单:/etc/cron.deny 默认存在
白名单和黑名单中放用户名,有如下几种情况:
两个文件都不存在,只有root用户可以使用at计划任务
如果不存在白明单,不在黑名单中的用户可以使用at命令。
存在白名单,白名单的优先级高于黑名单,有白名单黑名单就不起作用,不在白名单中的用户不能使用at命令。
每当有用户创建一个周期性执行任务的时候都会在/var/spool/cron/目录下有一个对应的用户文件。该文件就是对应用户的周期性执行任务的cron文件,每个用户只有一个对应用户名字的文件,如果用户想多次创建多个周期性计划任务,则打开的是同一个文件。
当作业需要精确到秒级别的时候可以使用sleep命令来配合操作,例如:
* * * * * root for A in {0-9};do echo $A;sleep 20; done
还可以通过sleep 定义各种时长:
sleep 数字[prefix]
prefix : s 秒,默认
d 天,
m 分,
h 小时,
crontab -e 默认使用的是vi工具打开的文件,可以在/etc/profile.d/目录下定义一个环境变量:
export EDITOR=vim
就可以默认使用vim 编辑器打开了。
!*!对于cron任务来讲,%有特殊用途;如果在命令中要使用%,则需要转义,将%放置于单引号中,则可不用转义
注意:运行结果的标准输出和错误以邮件通知给相关用户
(1) COMMAND > /dev/null
(2) COMMAND &> /dev/null
anacron系统
运行计算机关机时cron不运行的任务,CentOS6以后版本取消anacron服务,由crond服务管理
对笔记本电脑、台式机、工作站、偶尔要关机的服务器及其它不一直开机的系统很重要对很有用
配置文件:/etc/anacrontab,负责执行/etc/ cron.daily
/etc/cron.weekly /etc/cron.monthly中系统任务。
• 字段1:如果在这些日子里没有运行这些任务……
• 字段2:在重新引导后等待这么多分钟后运行它
• 字段3:任务识别器,在日志文件中标识
• 字段4:要执行的任务
- 由/etc/cron.hourly/0anacron执行
- 当执行任务时,更新/var/spool/anacron/cron.daily 文件
的时间戳
知识小扩展
windows远程桌面连接:运行输入"mstsc",打开远程连接终端。输入对方的IP地址。
内存泄漏:应用程序占用内存不释放,造成内存占用越来越大。
例如应用程序打开数据库,不进行关闭,造成占用内存不释放。
可以使用pmap 内存工具查看某一进程内存占用情况。
更改httpd服务的主目录
- 原网页存放目录:
/var/www/html
- 需要修改的文件:
/etc/httpd/conf/httpd.conf
- 将
DecumentRoot "PATH"
PATH
改为你指定的目录kill -1 httpd
进程编号 让该服务重新读配置文件使更改后的配置文件生效。
echo $$
查看当前bash
的进程编号
crontab -e -Uwang
编辑的文件,默认是vi
打开,定义环境变量可以使用vim打开:export EDITOR=vim
计划任务中的任务不要带输出,否则会给指定用户发邮件。