Linux 命令行和集群投递任务小技巧汇总 2023-08-29

背景

记录一下平时使用Linux命令行和集群投递任务的一些小技巧（包括.bashrc的配置），后续将不断补充。

• 配置命令行的风格，可以根据自己的审美修改

#style
export PS1="\033[33;1m\]> <\u@\h \033[37;1m\]\A \033[36;1m\]\w \n ~ \[\e[37;1m\]$ \[\e[0m\]"

• Linux命令行比较实用的操作

1、“ctrl + w” 删掉到空白前的字符
2、“ctrl + u” 删掉整行
3、“ctrl + a” 去到行首
4、“ctrl + e” 去到行末
5、“alt + backspace” 删除前一个字段

• vim编辑器比较实用的操作

1、输入":set mouse=a"可以实现用鼠标选择光标的位置，但是不能使用右键复制了，需要使用”shift + fn +insert“粘贴，不同电脑可能存在差异。
2、“$”光标可以去到句尾，“0”可以去到句首，“gg”去到文首，“G”去到文末。

• conda启动很慢，主要是.bashrc文件包含这些下面这些语句

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('~/software/Miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "~/software/Miniconda3/etc/profile.d/conda.sh" ]; then
        . "~/software/Miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="~/software/Miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

解决方法有几种，conda需要的时候再激活就好，可以直接删掉这些语句，或者用"#"注释掉每一行，或用条件语句或函数封起来。

#设置激活快捷命令
alias spy='source ~/Miniconda/md/bin/activate pyscenic'

• jobs查看后台任务加上-l可以看到任务号

alias jobs="jobs -l"

• 查看任务状态用qstat -j 【任务号】出来一大堆，用一下三个脚本筛选

alias qe="sh qe.sh"
alias qd="sh qd.sh"
alias q1="sh q1.sh"

#qe.sh
for i in `qstat|awk '{if (NR > 2) {print $1}}' `;do qstat -j ${i}|grep -E 'job_number|script_file|hard resource_list|usage         1'|awk -F ": " '{printf ","$2}'|awk '{print}'|sed "s/ //g"|sed "s/g/G/g"|awk -F "," '{print $2"\t"$5"\t"$6"\t"$3","$4"\t"$9","$10}';done

#qd.sh
for i in `qstat|awk '{if (NR > 2) {print $1}}'`;do qstat -j ${i}|grep -E 'job_number|script_file|cwd'|awk -F " " '{printf $2 "\t\t"}'|awk '{print}';done

#q1.sh
i=$1
qstat -j ${i}|grep -E 'job_number|script_file|hard resource_list|usage         1'|awk -F ": " '{printf ","$2}'|awk '{print}'|sed "s/ //g"|sed "s/g/G/g"|awk -F "," '{print $2"\t"$5"\t"$6"\t"$3","$4"\t"$9","$10}'
qstat -j ${i}|grep -E 'script_file|cwd'|awk -F " " '{printf $2 "\t\t"}'|awk '{print}'

示例

 ~ $ qe
5166377 run.sh  cpu=26:41:39    virtual_free=150G,num_proc=4    vmem=59.563G,maxvmem=150.554G
5169599 run.sh  cpu=36:42:02    virtual_free=250G,num_proc=4    vmem=207.266G,maxvmem=513.677G
 ~ $ qd
5166377         ~/01.cortex           run.sh
5169599         ~/03.subpallium_right run.sh
 ~ $ q1 5166377
5166377 run.sh  cpu=26:51:33    virtual_free=150G,num_proc=4    vmem=59.564G,maxvmem=150.554G

~/01.cortex              run.sh