工具安装及试用总结：对WES数据做germline的CNV ca
发现好多CNV calling 工具都好古早。。。安装和试用时关于版本的问题调试比较多。。。所以想把自己遇到的报错贴出来，方便后人debug
1、 EXCAVATOR2
原理及软件介绍：使用EXCAVATOR2检测WES的CNV
https://mp.weixin.qq.com/s/WcbCXq9Y7FGtvZXS7-HCEA
上面这个链接基本简单地做了说明，下面就简单记录一下我自己在安装和使用上遇到的bug和解决方法吧~
安装的必要条件：
EXCAVATOR2 was conceived for running on 64-bit UNIX desktop machines with at least 4 CPUs and 4 GB RAM.
In order to work properly EXCAVATOR2 needs R (version≥2.14.0) and the Hmisc library (R package), SAMtools(version≥0.1.17),andPerl(version≥5.8.8)tobecorrectlyinstalledonyoursystem
安装时遇到的问题：
R, SAMtools, Perl基本都是服务器上早就装好的，版本一般都不低，所以没什么问题。但是在装Hmisc这个R包的时候：
我用的R-3.5装的时候，给我报错 latticeExtra 这个包 not available，说这个 latticeExtra 需要的版本更高。。。我换了R-3.6装，在装 latticeExtra 的时候说 jpeg 的包有问题。。。逐个试了很多R包安装方法，都不行。
解决方法：
由于我们是实验室用一个服务器，最开始默认的R和配套的lib可能比较旧，或者有各种只有root权限才能修改的东西。所以这里可以重新用conda 建一个环境，下载一个靠谱的R，重头安装一遍你需要的包。
或者，组里有同学的R和lib可以完成这个包的安装，就直接引用到你自己的环境变量里吧！哈哈哈哈哈哈
alias R=‘谢谢大哥的R路径’
export R_LIBS_SITE="谢谢大哥的R lib路径:$R_LIBS_SITE"
运行的必要条件：
首先就是一定要记得在这个软件的解压后路径下运行命令！
因为这些perl是直接读取你运行命令的这个位置，然后会在后面用这个路径的字符串编辑一些新的路径，
所以一定要在这个软件的解压后路径下运行命令！（其实就是我自己被蠢到过。。。）
运行时遇到的问题：
在运行第一步TargetPerla.pl的时候，遇到如下报错：
~/software/EXCAVATOR2_Package_v1.1.2/lib/OtherLibrary/bigWigAverageOverBed: error while loading shared libraries: libpng12.so.0: cannot open shared object file: No such file or directory
Error in file(file, "rt") : cannot open the connection
Calls: read.table -> file
In addition: Warning message:
In file(file, "rt") :
cannot open file '~/EXCAVATOR2_Package_v1.1.2/data/targets/hg19/AJTK_w10000/MAP/Mapout.txt': No such file or directory
Execution halted
主要问题是加载不到这个：libpng12.so.0 （libpng15它都不认的，好像只认这一个版本。。。）
解决方法：
单独下了这个lib文件的相关文件，直接放到原来的lib路径下，行不通。。。
用conda install libpng=1.2就OK啦！如果这个conda的lib路径原来不在环境变量里，新加进去就OK了：
export LD_LIBRARY_PATH=确定装有libpng12.so.0的路径:$LD_LIBRARY_PATH
2、CoNIFER
使用环境：python2.7
准备probes文件
只认chr1-22&XY，要把chrM去掉，否则如下报错，
Traceback (most recent call last):
File "conifer.py", line 682, in <module>
args.func(args)
File "conifer.py", line 545, in CF_bam2RPKM
probes = cf.loadProbeList(probe_fn)
File "/picb/dermatogenomics/chenjieyi/software/conifer_v0.2.2/conifer_functions.py", line 96, in loadProbeList
probes.append({'probeID': probeID, 'chr':chrStr2Int(row['chr']),'start':int(row['start']),'stop':int(row['stop']), 'name':row['name']})
File "/picb/dermatogenomics/chenjieyi/software/conifer_v0.2.2/conifer_functions.py", line 58, in chrStr2Int
return int(chr)
ValueError: invalid literal for int() with base 10: 'M'
运行中的可能错误1
conifer.py的第564行有个“f._has_Index()”，随着pysam包的版本不同，该命令的写法不同，可以都试一下
https://sourceforge.net/p/conifer/discussion/general/thread/d2fbc181/?limit=25
可以通过conda list先确定一下你的pysam版本，然后修改到对应的。
搞pysam的时候我被玄学到了，先是镜像的问题，只装上了0.6，上述任何版本的修改都没用。。。。
修改镜像之后装了最新的0.16，失败。。。
随手装了0.9，使用的时候import失败。。。
然后换成0.8，安装和import成功，改成“f.has_Index()”可以成功运行
运行中的可能错误2
再有是关于tables，由于conifer实在是太古早了，其中的语法都是tables2.0的版本，会有如下各种报错。。。
balabala Error 'openFile'
AttributeError: 'File' object has no attribute 'createGroup'
AttributeError: 'File' object has no attribute 'createTable'
tables.exceptions.NoSuchNodeError: group ``/`` does not have a child named ``_f_getChild``
全网看了一圈，已经下载不到tables2.0了，所以还是用的现成装的tables3.5，边改边test，根据这个网页对应把旧的语法改成新的就行。http://www.pytables.org/MIGRATING_TO_3.x.html?highlight=creategroup 后面的call步骤也是要记得修改新版语法。
运行中的可能错误3
analyse有一个可能的报错“IndexError: boolean index did not match indexed array along dimension 0; dimension is 24661 but corresponding boolean dimension is 24660”，可能是因为numpy版本的问题，解决方法是
The error is in line 142 of conifer.py, instead of:
rpkm = RPKM_data[start_probeID:stop_probeID,:]
it should be:
rpkm = RPKM_data[start_probeID-1:stop_probeID,:]
参考：https://github.com/UBC-Stat-ML/conifer/issues/26
运行中的可能错误4
plotcalls画图的部分提醒补安装了matplotlib，出现了报错：
/data/dermatogenomics4/software/anaconda3/envs/py27/lib/python2.7/site-packages/matplotlib/pyplot.py:522: RuntimeWarning: More than 20 figures have been opened. Figures created through the pyplot interface (`matplotlib.pyplot.figure`) are retained until explicitly closed and may consume too much memory. (To control this warning, see the rcParam `figure.max_open_warning`).
max_open_warning, RuntimeWarning)
解决方法：在conifer.py 的 line 460 附近，在import matplotlib后面一行加上matplotlib.rcParams.update({'figure.max_open_warning': 0})
OK测试数据跑通
需要额外关注和计算的参数
analyse中的--svd参数，官网教程给了说明，应该根据你的样本数和数据方差去选择合适的svd数，具体可以看文献理解
3.XHMM
官方说明：http://atgu.mgh.harvard.edu/xhmm/tutorial.shtml
（曾经打开过，并下载到了安装包“statgen-xhmm-998f7c405974.zip”，然而在正式要用的时候，我翻不翻墙都没能再打开这个链接。。。）
好在文章有protocol：https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4065038/
【发现可以用的tutorial了：[https://statgen.bitbucket.io/xhmm/tutorial.html]（https://statgen.bitbucket.io/xhmm/tutorial.html)】
但是在make编译的时候有一大堆报错，在网上兜了一圈，好像都说make容易有问题，在bioconda上有现成的packagehttps://anaconda.org/bioconda/xhmm
，conda install -c bioconda xhmm一句话搞定安装~
首先需要GATK的DepthOfCoverage来计算一个覆盖深度的值，但是这个工具是属于GATK3的，GATK4从4.1.6版本才开始重新复原这个tool，而我自己手头是4.1.3的版本，所以就用conda新建了一个环境，专门装了一个gatk3.8conda create -n gatk3 -c bioconda gatk
安装后需要注册一下，解决操作参考：https://zhuanlan.zhihu.com/p/129858566
由于我们实验室有几个服务器，配置略有不同，在某个服务器中运行DepthOfCoverage的过程中发现了如下报错：
ERROR StatusLogger Unable to create class org.apache.logging.log4j.core.impl.Log4jContextFactory specified in jar:file:/[conda env]/opt/gatk-3.8/GenomeAnalysisTK.jar!/META-INF/log4j-provider.properties
ERROR StatusLogger Log4j2 could not find a logging implementation. Please add log4j-core to the classpath. Using SimpleLogger to log to the console...
查了一圈是要想办法替换conda env中的jar文件，用了注册时的jar不大行，所以去找了3.8.1的jar进行替换，尝试成功，可以正常运行。
gatk3.8及以前的版本可以在google云上找到：https://console.cloud.google.com/storage/browser/gatk-software/package-archive/gatk;tab=objects?prefix=&forceOnObjectsSortingFiltering=false
之后按tutorial的步骤一步步操作即可。
文章的protocol中说关于filter的具体参数可以用后面作图的protocol把一些值的范围都找出来，但是这里暂时受限于Plink/Seq的locdb参考数据下载不下来，这个网址打不开http://atgu.mgh.harvard.edu/plinkseq/resources.shtml
如果有可以下载的路径求分享！
但是这个步骤是optional的，所以最后使用的时候我选择了跳过。。。用tutorial的参考值进行的后续分析（）
4、CANOES
使用说明可以在这里找到https://github.com/ShenLab/CANOES
其中需要的软件工具里，GATK的GCContentByInterval，也是个在GATK4（至少4.1.0.3）里没有的，所以上面创建的gatk3.8环境又有用了！
软件原理是基于每批次WES的背景值进行分析，所以要按上机批次进行分析，最好30个以上一批，20个以上也行（这里的用法我之前理解错了，感谢DXR师姐提点！）
该软件工具只能处理常染色体，需要分析X染色体的话可以参考下面这篇文章的方法部分，通过修改R包加入了X染色体上的分析：https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7418612/
canoes.reads.txt文件的第一列处理完默认是chr1,chr2,...,chr21,chr22但是在后面的分析中，只认，1,2,...,21,22，所以中间可以对这个文件进行一下预处理。
在 # call CNVs with the Viterbi algorithm#这步中发现Viterbi 这个function中的viterbi.pointers[i, ] <- apply(temp.matrix, 2, which.max)会报错，发现是viterbi.matrix[i, ] <- apply(temp.matrix, 2, max)中，如果temp.matrix中偶尔会有个别NaN值，会被认为是最大值，从而后面的全部变成了NaN。这里想到的解决方法是在449行加上一句temp.matrix[is.na(temp.matrix)] <- (-Inf)直接把Na替换成负无穷，这样就不会被误认为是max了。后面可以正常运行了。
5、CODEX2
说明文档
http://htmlpreview.github.io/?https://github.com/yuchaojiang/CODEX2/blob/master/demo/CODEX2.html
https://github.com/yuchaojiang/CODEX2
R<3.5
source("https://bioconductor.org/biocLite.R")
R≥3.5
if (!requireNamespace("BiocManager", quietly = TRUE))
install.packages("BiocManager")
BiocManager::install()
K值可根据中间的碎石图选择范围，软件推荐1-10。总体运行顺畅没有显著问题
6、HMZDelFinder
R包和sample：https://github.com/BCM-Lupskilab/HMZDelFinder/
自己的WES数据可利用官方给的函数calcRPKMsFromBAMs来制作（4是函数中apply家族需要使用的核数）
calcRPKMsFromBAMs(bedFile, bamdir, sampleNames, rpkmDir,4)
该函数运行过程中容易出现一个问题，调用data.table的fread()读取bed文件时的报错：
Error in fread(bedFile) :
Internal error: invalid head position. jump=0, headPos=0x7f60a986513f, thisJumpStart=0x7f60a975e000, sof=0x7f60a975e000
尝试修改了文件换行符、data.table的版本数，都没能解决。了解了fread()的功能主要是快速读取大文件，私以为此步骤的耗时速度并非关键因素，所以将官方R文件中的第98行的bed <- fread(bedFile)修改为bed <- read.table(bedFile,header=F)。解决问题~
后面读取vcf和RPKM文件的步骤里都用到了fread()，在我自己的R里都会有问题，所以都改成了read.table() + as.data.table()进行表格的格式转换。反正这里经历了比较痛苦的逐行debug过程。。。
7、ExomeDepth
该R包运行问题较少，多批次多样本可进行循环处理，具体操作可参考：https://www.jianshu.com/p/a650a9d9a861
8、CONTRA
上一条引用的博主小姐姐用过这个软件，这里直接引用一下：https://www.jianshu.com/p/f23cc2c4b45d
软件论文：https://academic.oup.com/bioinformatics/article/28/10/1307/212453
说明文档：http://contra-cnv.sourceforge.net/
软件文章的讨论部分说到该软件对数据要求不高，也没提到批次效应的问题，所以应该可以把所有样本都丢进去做。
蓝鹅，我连软件都没下载下来。。。https://sourceforge.net/projects/contra-cnv/files/CONTRA.V2.0/
后面的Flag：
ADTEx
