Linux数据-R语言-图表-决策-Linux-PythonGit_Github_Linux

20181103-Schedule_Run_Task_Using

2018-11-04  本文已影响0人  侯祥胡

零、crond简介与Linux下的任务调度

crond简介

crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。通过crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。

时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常设合周期性的日志分析或数据备份等工作。

该命令从标准输入设备读取指令,并将其存放于“crontab”文件中(是“cron table”的简写),以供之后读取和执行。

该词来源于希腊语 chronos(χρνο),原意是时间。

通常,crontab储存的指令被守护进程激活, crond常常在后台运行,每一分钟检查是否有预定的作业需要执行。这类作业一般称为cron jobs。

linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。

简单点说:cron就是和闹钟的概念类似,就是定时执行。

crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务 工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务。

Linux下的任务调度

Linux下的任务调度分为两类,系统任务调度和用户任务调度。

系统任务调度:

系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。在/etc目录下有一个crontab文件,这个就是系统任务调度的配置文件。cat /etc/crontab /etc/crontab文件包括下面几行:

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=
HOME=/

$ # run-parts
51 * * * * root run-parts /etc/cron.hourly
24 7 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly

/etc/crontab in CentOS7 @ 2018-11-03

# /etc/crontab in CentOS7 @ 2018-11-03
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

前四行是用来配置crond任务运行的环境变量:

第一行SHELL变量指定了系统要使用哪个shell,这里是bash,

第二行PATH变量指定了系统执行 命令的路径,

第三行MAILTO变量指定了crond的任务执行信息将通过电子邮件发送给root用户,如果MAILTO变量的值为空,则表示不发送任务 执行信息给用户,

第四行的HOME变量指定了在执行命令或者脚本时使用的主目录。

第六至九行表示的含义将在下个小节详细讲述。这里不在多说。

用户任务调度:

用户定期要执行的工作,比如用户数据备份、定时邮件提醒等。

用户可以使用 crontab 工具来定制自己的计划任务。

所有用户定义的crontab 文件都被保存在 /var/spool/cron目录中。其文件名与用户名一致。

一、crontab文件的含义-基本格式:

crontab的配置文件--使用者权限文件

crontab 的配置文件

文件 说明
/etc/crontab 全局配置文件
/etc/cron.d 这个目录用来存放任何要执行的crontab文件或脚本
/etc/cron.deny 该文件中所列用户不允许使用crontab命令
/etc/cron.allow 该文件中所列用户允许使用crontab命令
/var/spool/cron/ 所有用户crontab文件存放的目录,以用户名命名,比如你是root 用户,那么当你添加任务是,就会在该路径下有一个root文件
/etc/cron.deny 该文件中所列用户不允许使用crontab命令
/var/log/cron crontab 的日志文件

crontab文件六段式格式解读

用户所建立的crontab文件中,每一行都代表一项任务,每行的每个字段代表一项设置,它的格式共分为六个字段,前五段是时间设定段,第六段是要执行的命令段,格式如下:

Crontab_Format.png
*  *  *  *  *  command 
# M H D m w cmd
# minute hour day month week command
# 分   时   日  月  周  命令 
# 分钟(0-59) 小时(0-23) 日期(1-31) 月份(1-12) 星期(0-6,0代表星期天)  命令

# 第1列M/minute,表示分钟0~59之间的任何整数 每分钟用*或者 */1表示 

# 第2列H/hour,表示小时0~23之间的任何整数(0表示0点) 

# 第3列D/day,表示日期1~31之间的任何整数

# 第4列m/month,表示月份1~12 之间的任何整数

# 第5列w/week,表示星期0~6之间的任何整数(0表示星期天)

# 第6列command, 表示要运行/执行的命令/程序,可以是系统命令,也可以是自己编写的脚本文件。这个shell只有USER,HOME,SHELL这三个环境变量 


## 解读crontab 2
f1 f2 f3 f4 f5 program 
minute hour day month week command 
# M H D m w cmd
# For details see man 4 crontabs 
# Example of job definition: 
.------------------------ minute (0 - 59) 分钟 
| .---------------------- hour (0 - 23) 小时 
| | .-------------------- day of month (1 - 31) 日期 
| | | .------------------ month (1 - 12) OR jan,feb,mar,apr ... 月份 
| | | | .---------------- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat 
| | | | | .------------- username 以哪个用户来执行 
| | | | | | .------ command 要执行的命令,可以是系统命令,也可以是自己编写的脚本文件 
| | | | | | | 
* * * * * user-name command to be executed

其中 f1 是表示分钟,f2 表示小时,f3 表示一个月份中的第几日,f4 表示月份,f5 表示一个星期中的第几天。program 表示要执行的程序。 

crontab文件中特殊字符的使用

在crontab以上各个字段中,可以使用以下特殊字符:

星号(*):

代表所有可能的值,例如month字段如果是星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。

例:当 f1 为 * 时表示每分钟都要执行 program,f2 为 * 时表示每小时都要执行程序,其余类推

逗号(,):

可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”

例:当 f1 为 a, b, c,... 时表示第 a, b, c,... 分钟要执行,f2 为 a, b, c,... 时表示第 a, b, c...个小时要执行,其余类推

中杠(-):

可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”

例:当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行,f2 为 a-b 时表示从第 a 到第 b 小时都要执行,其余类推

正斜线(/):

可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用,例如*/10,如果用在minute字段,表示每十分钟执行一次。

例:当 f1 为 */n 时表示每 n 分钟个时间间隔执行一次,f2 为 */n 表示每 n 小时个时间间隔执行一次,其余类推

使用者也可以将所有的设定先存放在档案 file 中,用 crontab file 的方式来设定时程表。

二、开启Crontab服务

检查是否安装crontab

下面的命令 如果显示 ‘no crontab for root’ 或者 显示当前的任务列表 或者 不报错 那说明已经安装,

# 检查是否安装:
crontab -l

安装crontab

yum install crontabs

# OR Use This
yum -y install vixie-cron crontabs

查看crontab服务状态

service crond status

开启crontab服务

service crond start

# Add schedule task
crontab -e

# 服务操作说明:
# 启动服务
/sbin/service crond start

# 关闭服务
/sbin/service crond stop 

# 重启服务
/sbin/service crond restart 

# 重新载入配置
/sbin/service crond reload 

# 启动服务
/sbin/service crond status 

crontab服务加入开机自动启动

# 查看crontab服务是否已设置为开机启动,执行命令:
ntsysv

# 加入开机自动启动:
chkconfig –level 35 crond on

crontab -e 
#命令可以在vi中编辑定期任务
# 如下面代码每一分钟向文本写入当前日期
# * * * * * date >> ~/log.txt
#    1
#    2

# 创建任务后,用 crontab -l 查看当前用户的任务列表
crontab -l 

三、crontab命令详解

1.crontab命令格式

crontab [-u user] file

crontab [-u user] [ -e | -l | -r ]

2.crontab命令功能

通过crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常设合周期性的日志分析或数据备份等工作。

3.crontab命令参数

crontab 是用来让使用者在固定时间或固定间隔执行程序之用。

换句话说,也就是类似使用者的时程表。

-u user 是指设定指定user 的时程表,这个前提是你必须要有其权限(比如说是root)才能够指定他人的时程表。

如果不使用 -u user 的话,就是表示设定自己的时程表。
所有使用者都有权限使用crontab,使用方式/命令参数如下

# 用指定的文件替代目前的crontab。
crontab file [-u user]  

# 用标准输入替代目前的crontab. 
crontab -[-u user] 

# 列出用户目前的crontab. 
crontab -1[user] 

# 编辑用户目前的crontab.
crontab -e[user]  

# 删除用户目前的crontab. 
crontab -d[user] 

# 指定crontab的目录。 
crontab -c dir 

crontab命令参数说明

crontab -e : 编辑某个用户的crontab文件内容。如果不指定用户,则表示编辑当前用户的crontab文件。执行文字编辑器来设定时程表,内定的文字编辑器是 VI,如果你想用别的文字编辑器,则请先设定 VISUAL 环境变数来指定使用那个文字编辑器(比如说 setenv VISUAL joe)

crontab -r:从/var/spool/cron目录中删除某个用户的crontab文件,如果不指定用户,则默认删除当前用户的crontab文件。删除目前的时程表(慎重)

crontab -i:在删除用户的crontab文件时给确认提示。

crontab -l : 列出目前的时程表。显示某个用户的crontab文件内容,如果不指定用户,则表示显示当前用户的crontab文件内容。

crontab file [-u user]-用指定的文件替代目前的crontab。

-u user:用来设定某个用户的crontab服务,例如,“-u ixdba”表示设定ixdba用户的crontab服务,此参数一般有root用户来运行。

file:file是命令文件的名字,表示将file做为crontab的任务列表文件并载入crontab。如果在命令行中没有指定这个文件,crontab命令将接受标准输入(键盘)上键入的命令,并将它们载入crontab。

4.crontab常用方法

1). 创建一个新的crontab文件

在 考虑向cron进程提交一个crontab文件之前,首先要做的一件事情就是设置环境变量EDITOR。cron进程根据它来确定使用哪个编辑器编辑 crontab文件。

99%的UNIX和LINUX用户都使用vi,如果你也是这样,那么你就编辑$HOME目录下的. profile文件,在其中加入这样一行:

EDITOR=vi; export EDITOR

然后保存并退出。不妨创建一个名为<user> cron的文件,其中<user>是用户名,例如, davecron。在该文件中加入如下的内容。

$ # (put your own initials here)echo the date to the console every
$ # 15minutes between 6pm and 6am

$ 0,15,30,45 18-06 * * * /bin/echo ‘date’ > /dev/console

保存并退出。确信前面5个域用空格分隔。

在 上面的例子中,系统将每隔1 5分钟向控制台输出一次当前时间。

如果系统崩溃或挂起,从最后所显示的时间就可以一眼看出系统是什么时间停止工作的。

在有些系统中,用tty1来表示控制台,可以根据实际情况对上面的例子进行相应的修改。为了提交你刚刚创建的crontab文件,可以把这个新创建的文件作为cron命令的参数:

$ crontab davecron

现在该文件已经提交给cron进程,它将每隔1 5分钟运行一次。

同时,新创建文件的一个副本已经被放在/var/spool/cron目录中,文件名就是用户名(即dave)。

2). 列出crontab文件

为了列出crontab文件,可以用:

$ crontab -l

0,15,30,45,18-06 * * * /bin/echo `date` > dev/tty1

你将会看到和上面类似的内容。

可以使用这种方法在$HOME目录中对crontab文件做一备份:

$ crontab -l > $HOME/mycron

这样,一旦不小心误删了crontab文件,可以用上一节所讲述的方法迅速恢复。

3). 编辑crontab文件

如果希望添加、删除或编辑crontab文件中的条目,而E D I TO R环境变量又设置为v i,那么就可以用v i来编辑crontab文件,相应的命令为:

$ crontab -e

可以像使用vi编辑其他任何文件那样修改crontab文件并退出。

如果修改了某些条目或添加了新的条目,那么在保存该文件时,cro n会对其进行必要的完整性检查。

如果其中的某个域出现了超出允许范围的值,它会提示你。

我们在编辑crontab文件时,没准会加入新的条目。例如,加入下面的一条:

# DT:delete core files,at 3.30am on 1,7,14,21,26,26 days of each month
30 3 1,7,14,21,26 * * /bin/find -name “core’ -exec rm {} \;

现在保存并退出。
最好在crontab文件的每一个条目之上加入一条注释,这样就可以知道它的功能、运行时间,更为重要的是,知道这是哪位用户的作业。

现在让我们使用前面讲过的crontab -l命令列出它的全部信息:

$ crontab -l
# (crondave installed on Tue May 4 13:07:43 1999)

# DT:ech the date to the console every 30 minites
0,15,30,45 18-06 * * * /bin/echo `date` > /dev/tty1

# DT:delete core files,at 3.30am on 1,7,14,21,26,26 days of each month
30 3 1,7,14,21,26 * * /bin/find -name “core’ -exec rm {} \;

4). 删除crontab文件

要删除crontab文件,可以用:

$ crontab -r

5). 恢复丢失的crontab文件

如果不小心误删了crontab文件,假设你在自己的$HOM E目录下还有一个备份,
那么可以将其拷贝到/var/spool/cron/<username>,其中<username>是用户名。

如果由于权限问题无法完成拷贝,可以用:$ crontab <filename> 其中,<filename>是你在$ HOME目录中副本的文件名。

我建议你在自己的$ HOME目录中保存一个该文件的副本。我就有过类似的经历,有数次误删了crontab文件(因为r键紧挨在e键的右边)。这就是为什么有些系统文档建议不要直接编辑crontab文件,而是编辑该文件的一个副本,然后重新提交新的文件。有些crontab的变体有些怪异,所以在使用crontab命令时要格外小心。

如果遗漏了任何选项,crontab可能会打开一个空文件,或者看起来像是个空文件。

这时敲delete键退出,不要按<Ctrl-D>,否则你将丢失crontab文件。

5.使用实例

秒级别定时任务--半分钟执行

crontab 最小执行时间是分钟,如果是需要 半分钟执行,如果实现呢?如下:

延迟30秒 把时间写入 /tmp/cron.txt 文件

*/1 * * * * data >> /tmp/cron.txt
*/1 * * * * sleep 30s;data >> /tmp/cron.txt

分钟级别定时任务

小时级别定时任务

天级别定时任务

周级别定时任务

月级别定时任务

四、使用注意事项

注意环境变量问题

环境变量的值,在crontab 文件中获取不到,所以要注意,可以写脚本.

有时我们创建了一个crontab,但是这个任务却无法自动执行,而手动执行这个任务却没有问题,这种情况一般是由于在crontab文件中没有配置环境变量引起的。

在 crontab文件中定义多个调度任务时,需要特别注意的一个问题就是环境变量的设置,因为我们手动执行某个任务时,是在当前shell环境下进行的,程 序当然能找到环境变量,而系统自动执行任务调度时,是不会加载任何环境变量的,因此,就需要在crontab文件中指定任务运行所需的所有环境变量,这样,系统执行任务调度时就没有问题了。

不要假定cron知道所需要的特殊环境,它其实并不知道。所以你要保证在shelll脚本中提供所有必要的路径和环境变量,除了一些自动设置的全局变量。所以注意如下3点:

1)脚本中涉及文件路径时写全局路径;

2)脚本执行要用到java或其他环境变量时,通过source命令引入环境变量,如:

cat start_cbp.sh

#!/bin/sh

source /etc/profile

export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf

/usr/local/jboss-4.0.5/bin/run.sh -c mev &

3)当手动执行脚本OK,但是crontab死活不执行时。这时必须大胆怀疑是环境变量惹的祸,并可以尝试在crontab中直接引入环境变量解决问题。如:

0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh

注意清理系统用户的邮件日志

每条任务调度执行完毕,系统都会将任务输出信息通过电子邮件的形式发送给当前系统用户,这样日积月累,日志信息会非常大,可能会影响系统的正常运行,因此,将每条任务进行重定向处理非常重要。若是你不希望收到这样的信,请在每一行空一格之后加上 > /dev/null 2>&1 即可.

例如,可以在crontab文件中设置如下形式,忽略日志输出:

0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1

“/dev/null 2>&1”表示先将标准输出重定向到/dev/null,然后将标准错误重定向到标准输出,由于标准输出已经重定向到了/dev/null,因此标准错误也会重定向到/dev/null,这样日志输出问题就解决了。

系统级任务调度与用户级任务调度

crontab 不能编辑系统级的任务.

系统级任务调度主要完成系统的一些维护操作,用户级任务调度主要完成用户自定义的一些任务,可以将用户级任务调度放到系统级任务调度来完成(不建议这么 做),但是反过来却不行.

root用户的任务调度操作可以通过“crontab –uroot –e”来设置,也可以将调度任务直接写入/etc /crontab文件.

需要注意的是,如果要定义一个定时重启系统的任务,就必须将任务放到/etc/crontab文件,即使在root用户下创建一个定时重启系统的任务也是无效的。

注意百分号%要转义

在crontab中%是有特殊含义的,表示换行的意思。如果要用的话必须进行转义%

59 1 1-7 4 * test 'date +\%w' -eq 0 && /root/a.sh

在crontab中%是有特殊含义的,表示换行的意思。如果要用的话必须进行转义%,如经常用的date ‘+%Y%m%d’在crontab里是不会执行的,应该换成date ‘+%Y%m%d’。

其他注意事项

新创建的cron job,不会马上执行,至少要过2分钟才执行。如果重启cron则马上执行。

当crontab突然失效时,可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。

千万别乱运行crontab -r。它从Crontab目录(/var/spool/cron)中删除用户的Crontab文件。删除了该用户的所有crontab都没了。

参考-Reference

上一篇下一篇

猜你喜欢

热点阅读