scanpy数据整合批次效应去除原理
引用：葬花朴
1.scanpy.external.pp.mnn_correct**
第一步：将表达量按细胞进行归一化，计算细胞之间归一化后的Euclidean距离。
第二步：识别MNN（mutual nearest neighbors， 相互最近的邻居）：假设两个batch，寻找batch1中每一个细胞的在batch2中最近的k个细胞（knn1），对batch2进行相同操作（knn2），knn1和knn2的关系的交集就是MNN。
关键1：一对MNN细胞的差异完全来源于批次效应；
关键2：三个假设a)两个批次中至少有1种相同的细胞类型， b) 批次效应与生物子空间（基因表达特征张成的空间）正交，c)批次效应变异远小于不同细胞类型之间的变异。
第三步：对于一个MNN对，计算pair-specific批次矫正向量：两个细胞的向量之差。
细胞特异性的batch-correction vector = 这些pair-specific批次矫正向量的加权平均
细胞表达量的转换策略来自 [Haghverdi et al., 2018]
2.scanpy.external.pp.scanorama_integrate
关键：不限于两个数据集的MNN，而是发现多个数据集中的相似性，对数据的顺序不明感
降维后再找邻近关系，通过一些算法提升临近关系寻找的速度；
Scanorama同时完成整合和去除批次效应，通常只进行低维的整合
看一下这里的批次效应矫正是如何进行的：
假如有两个数据集Di,Dj，已经确定Mij是他们之间的MNN对，通过rij描述两个数据之间的总体匹配程度，匹配程度反应了两个数据集是否是同一个panorama
matching vectors是两个数据MNN对的差（长度为matchDi细胞数）
当想去除Di的批次效应的时候，计算Di中细胞与matchDi细胞的权重矩阵（Di细胞数 * matchDi细胞数）
用这个权重矩阵加权平均matching vectors = 就是转换向量 translation vector（这个类似于MNN矫正的过程）
每个细胞得到各自的转换向量，这个转换向量可以在高维基因表达的层面计算，也可以在降维后的层面计算
细胞表达量的转换策略来自 [Haghverdi et al., 2018]
3.scanpy.external.pp.harmony_integrate
矫正PCA
迭代两个互补的过程：聚类 + 线性模型批次矫正
image.png
本质上不修改表达量
4.scanpy.external.pp.bbknn
在umap之前调整knn图，不做表达量的改变
顺便回顾一下SeuratV3的整合策略
第一步也是寻找anchor，anchor表示那些不同数据集中生物状态相同的细胞（FindTransferAnchors 函数）。
在降维过程中选用CCA (canonical correlation analysis) ,CCA的优势是发现两个数据集中共有的相关基因模块；PCA只能识别单个数据中的变异
根据降维的结果计算MNN，这里叫anchor，通过两步法过滤anchor；
计算anchor的权重矩阵，该矩阵描述每个query细胞和anchor细胞的关系，矩阵的构建依赖于：1query细胞和anchor细胞，2之前计算的anchor打分，这个权重矩阵的作用是不同细胞类型的anchor的区分。
细胞表达量转换的过程基于 [Haghverdi et al., 2018]
所以整合的方法已经够用了，关键按照研究目的选择最优的方法就好。
