集群SGE作业调度系统
0. 一些基本概念
- 计算机集群：高性能集群(High Performance Computing，简称HPC)是一组松散或紧密连接在一起工作的计算机。由于这些计算机协同工作，在许多方面它们可以被视为单个系统。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。与网格计算机不同，计算机集群将每个节点设置为执行相同的任务，由软件控制和调度。
关于集群与分布式的区别有一段话总结得很好：集群是个物理形态，分布式是个工作方式。只要是一堆机器，就可以叫集群，他们是不是一起协作着干活，这个谁也不知道；一个程序或系统，只要运行在不同的机器上，就可以叫分布式，C/S架构也可以叫分布式。集群一般是物理集中、统一管理的，而分布式系统则不强调这一点。所以，集群可能运行着一个或多个分布式系统，也可能根本没有运行分布式系统；分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2台也算多台）机器上。
- 节点是集群中的控制器。它通过专有的管理集群网络连接到集群中的其他节点。每个集群均包含节点，也就是管理数据和执行维护任务的计算单元。
1. 常见的几种资源管理和调度系统
-
SGE（Sun Grid Engine）：Sun网格引擎是一种来自于SUN Microsystem的分布式资源管理和调度系统，它用来在基于UNIX的计算环境中优化软件和硬件资源的使用。SGE能用于查找资源池内的闲置资源并利用这些资源；它同样用于通常的一些事务中，例如管理和调度作业到可用资源中。
-
PBS（Portable Batch System）：便携式批处理系统接受批处理作业（具有控制属性的shell脚本），保留和保护作业直到它开始运行。因为一个批处理作业是一个无需用户干预的，在计算机系统后台运行的程序，在批处理作业运行过程中，用户无法实时地得到作业运行结果，所以PBS只能在作业执行后，将作业结果返回给提交者。目前，PBS包含开源免费的OpenPBS、商业付费的PBS Pro、Torque三种分支。
-
Condor来自Wisconsin-Madison大学的研究项目。充分利用工作站的空闲时间是Condor的最显著特征。Condor管理的机群由网络中的工作站组成，工作站可以自愿加入或退出。Condor监测网络中所有工作站的状态，一旦某台计算机被认为空闲，便把它纳入到资源池中。在资源池中的工作站被用来执行作业。
-
LSF（Load Sharing Facility）：负载共享设施是由加拿大平台计算公司研制与开发的，由Toronto大学开发的Utopia系统发展而来。在使用范围上，LSF不仅用于科学计算，也用于企业的事务处理。功能上，除了一般的作业管理特性外，它还在负载平衡、系统容错、检查点操作、进程迁移等方面作了很好的努力，并力图使之实用化。
2. SGE常见指令
2.1 提交任务
qsub参数：
$ qsub -help
SGE 8.1.9
usage: qsub [options]
[-a date_time] request a start time
[-ac context_list] add context variable(s)
[-Ap fname] add a new parallel environment from file
[-astnode node_shares_list] add sharetree node(s)
[-at thread_name] add/start qmaster thread
[-A account_string] account string in accounting record
[-b y[es]|n[o]] handle command as binary
[-binding [env|pe|set] exp|lin|str] binds job to processor cores
[-c ckpt_selector] define type of checkpointing for job
[-cwd] use current working directory
[-C directive_prefix] define command prefix for job script
[-dc simple_context_list] delete context variable(s)
[-dul listname_list] delete userset list(s) completely
[-e path_list] specify standard error stream path(s)
[-h] place user hold on job
[-hard] consider following requests "hard"
[-he y[es]|n[o]] enable/disable hard error handling
[-help] print this help
[-hold_jid job_identifier_list] define jobnet interdependencies
[-hold_jid_ad job_identifier_list] define jobnet array interdependencies
[-i file_list] specify standard input stream file(s)
[-j y[es]|n[o]] merge stdout and stderr stream of job
[-js job_share] share tree or functional job share
[-jsv jsv_url] job submission verification script to be used
[-l resource_list] request the given resources
[-M mail_list] notify these e-mail addresses
[-m mail_options] define mail notification events
[-masterq wc_queue_list] bind master task to queue(s)
[-mattr obj_nm attr_nm val obj_id_list] modify an attribute (or element in a sublist) of an object
[-N name] specify job name
[-notify] notify job before killing/suspending it
[-now y[es]|n[o]] start job immediately or not at all
[-o path_list] specify standard output stream path(s)
[-ot tickets] set jobs override tickets
[-P project_name] set jobs project
[-p priority] define jobs relative priority
[-pe wc_pe_name slot_range] request slot range for parallel jobs
[-q wc_queue_list] bind job to queue(s)
[-r y[es]|n[o]] define job as (not) restartable
[-sc context_list] set job context (replaces old context)
[-shell y[es]|n[o]] start command with or without wrapping <loginshell> -c
[-soft] consider following requests as soft
[-srqs [rqs_list]] show resource quota set(s)
[-sync y[es]|n[o]] wait for job to end and return exit code
[-S path_list] command interpreter to be used
[-t task_id_range] create a job-array with these tasks
[-v variable_list] export these environment variables
[-verify] do not submit, just verify
[-V] export all environment variables
[-wd working_directory] use working_directory
[-@ file] read commandline input from file
[{command|-} [command_args]]
最常用参数：
- cwd #使用当前工作目录
- binding #将作业绑定到处理器核心
- p #定义工作的相对优先级，-1023 到 1024 , 默认值0
- P #定义项目名称，前提是存在该项目
- q #将作业绑定到队列
- l #请求给定的计算资，如-l arch=solaris64,h_vmem=750M,permas=1
示例qsub -cwd -l vf=2g,p=1 -q queuename.q -P projectname -binding linear:2 test.sh：
qsub
-cwd
-l vf=2g,p=1 #vf内存简写，p线程数简写；
#资源可分开写，可写全称，单位可大小写，如-l virtual_free=2G -l num_proc=1。
#关于资源限制域可通过 qconf -sc命令查看
-q queueName.q
-P ProjectName
-binding linear:2 #处理器核心数 linear
test.sh
2.2 查看任务
qstat命令
qstat -j jobid #某个任务详细信息
qstat -u username #某用户的任务
qstat -u \* #所有用户任务
qstat -q all.q -u \* #查看某个队列下所有任务
qstat -q all.q@node1 -u \* #查看某个队列的某一节点下所有任务
qstat -f #查看用户自己在每个节点的任务情况，没啥用
任务的状态：
qw #等待状态
hqw #任务挂起等待中，待依赖的任务完成后执行
Eqw #投递任务出错
r #任务正在运行
s #暂时挂起
dr #节点挂了之后，删除任务就会出现这个状态，只有节点重启之后，任务才会消失
2.3 删除任务
qdel命令
qdel jobid #可同时删除多个，如qdel jobid1 jodid2
qdel -u username #删除某用户所有任务
2.4 挂起/恢复任务
qhold命令：挂起qw的任务
qhold jobid
qhold -u \*
qrls jobid #恢复
qmod命令：挂起running中的任务
qmod -sj jobid
qmod -usj jobid #恢复
如果未提交到SGE系统，直接运行的命令用kill -STOP pid 挂起，用kill -CONT pid恢复。
2.5 更改任务属性
qalter命令修改已提交但正处于暂挂状态的作业的属性
参数和qsub一样。
