使用python处理生物信息数据（五）

Python学习的第五天，主要学习数据的过滤。

---

1. 转录组差异分析数据的过滤

Cuffcompare软件进行了转录组表达量的比较和统计，至少存在于3个生物学重复中的两个样本的转录本才被留下，否则被过滤掉。

转录组差异分析

我们将处理流程图中的transcripts.tracking文件。

tracking = open('transcripts.tracking', 'r')
out_file = open('transcripts-filtered.tracking', 'w')

for track in tracking:
    # split tab-separated columns
    columns = track.strip().split('\t')   #以tab符为分隔符
    wildtype = columns[4:7].count('-')    #野生型是第4-6列，统计"-"数量 
    treatment = columns[7:10].count('-')  #野生型是第7-9列，统计"-"数量 
    if wildtype < 2 or treatment < 2:        #如果"-"数量 小于2，则将该行写入输入文件中
        out_file.write(track)

tracking.close()

out_file.close()

####使用for/if语句处理这个问题，代码更容易理解，但代码比较冗长。
output_file = open('transcripts-filtered2.tracking', 'w')

for track in open('transcripts.tracking'):
    columns = track.strip().split('\t')
    length = len(columns)
    wt = 0
    t = 0
    if columns[4] != '-':
        wt += 1
    if columns[5] != '-':
        wt += 1
    if columns[6] != '-':
        wt += 1
    if length >= 8:
        if columns[7] != '-':
            t += 1
    if length >= 9:
        if columns[8] != '-':
            t += 1
    if length >= 10:
        if columns[9] != '-':
            t += 1
    if wt > 1 or t > 1:
        output_file.write(track)


output_file.close()

---

2. 比较两个数据列表

data_a = [1, 2, 3, 4, 5, 6]

data_b = [1, 5, 7, 8, 9]

a_and_b = []

for num in data_a:
    if num in data_b:
        a_and_b.append(num)   #既在data_a中也存在于data_b中的数字写入a_and_b文件中
        
print(a_and_b)
[1, 5]

######两个集合数据的交集
data_a = set([1, 2, 3, 4, 5, 6])

data_b = set([1, 5, 7, 8, 9])

a_and_b = data_a.intersection(data_b) #直接使用intersection（）函数获得两个数据列表的交集。

print(a_and_b)
{1, 5}

######两组数据列表的的差异
data_a = [1, 2, 3, 4, 5, 6]
data_b = [1, 5, 7, 8, 9]

a_not_b = []
b_not_a = []

for num in data_a:
    if num not in data_b:
        a_not_b.append(num)
        

for num in data_b:
    if num not in data_a:
         b_not_a.append(num)
         

print(a_not_b)
[2, 3, 4, 6]

print(b_not_a)
[7, 8, 9]

#####两个集合数据的差异
data_a = set([1, 2, 3, 4, 5, 6])
data_b = set([1, 5, 7, 8, 9])

a_not_b = data_a.difference(data_b)

b_not_a = data_b.difference(data_a)

print(a_not_b)
{2, 3, 4, 6}

print(b_not_a)
{8, 9, 7}

####两个数据的并集
a_or_b = data_a.union(data_b)

print(a_or_b)
{1, 2, 3, 4, 5, 6, 7, 8, 9}

####两个数据的的补集
a_xor_b = data_a.symmetric_difference(data_b)

print(a_xor_b)
{2, 3, 4, 6, 7, 8, 9}

---

3. 移除列表，字典以及文件中的元素

#####移除列表中的数字
data = [1,2,3,6,2,3,5,7]

data.pop(0) #使用pop()函数移除指定位置的数字
Out[49]: 1

data
Out[50]: [2, 3, 6, 2, 3, 5, 7]

#####使用del()函数删除列表中指定位置的数字
data = [1,2,3,6,2,3,5,7]

del(data[0])

data
Out[53]: [2, 3, 6, 2, 3, 5, 7]

#####使用remove()函数删除列表中指定的数字
data = [1, 2, 3, 6, 2, 3, 5, 7]

data.remove(3)

data
Out[59]: [1, 2, 6, 2, 3, 5, 7]  #结果显示remove()函数只移除了第一3，第二3依然存在于列表中

####移除列表中所有的数字3
data = [1, 2, 3, 6, 2, 3, 5, 7]

data = [x for x in data if x != 3] #使用for/if语句将列表中的数字3都移除

data
Out[62]: [1, 2, 6, 2, 5, 7]

#使用slicing切片移除移除数字3
data = [1, 2, 3, 6, 2, 3, 5, 7]

data2 = data[:2] + data[3:]

data2
Out[65]: [1, 2, 6, 2, 3, 5, 7]

#####移除字典中的元素
#使用pop()函数
d = {'a':1, 'b':2, 'c':3}  #移除的时候是指定字典中的key而不是value。

d.pop('a')
Out[70]: 1

d
Out[71]: {'b': 2, 'c': 3}

#使用del函数
d = {'a':1, 'b':2, 'c':3}

del d['a']

d
Out[74]: {'b': 2, 'c': 3}

#####移除文件中的指定行
in_file = open('text.txt')

out_file = open('new.txt', 'w')

index = 0

indices_to_remove = [1,2,5,6] #需要移除的行

for line in in_file:
    index = index + 1
    if index not in indices_to_remove: #如果index不在indices_to_remove中，则将剩下的写入输入文件中
        out_file.write(line)
        

in_file.close()

out_file.close()

###除去文件中的重复行
input_file = open('UniprotID.txt')
output_file = open('UniprotID-unique.txt','w')

unique = set(input_file)  #set()函数是构建一个含有无序但唯一元素的集合。
for line in input_file:
    unique.add(line)


for line in unique:
    output_file.write(line)

---

4. 处理数据集合

reduce()函数将triple_set中的第1和第2个元素传递给set.intersection函数进行数据集合求交集的操作，得到的结果与第3个元素用set.intersection函数继续进行操作，这样历遍triple_set中的元素得到最后的结果。

###查找3个集合数据的交集
from functools import reduce

a = set((1, 2, 3, 4, 5))
b = set((2, 4, 6, 7, 1))
c = set((1, 4, 5, 9))

treiple_set = [a,b,c]

common = reduce(set.intersection, triple_set) 
print(common)
{1, 4}

---

5. 比较或更新数据库集合的变化

假设你有两个Uniprot数据集合，你想知道哪一个数据集合是新的，两个数据集合有什么变化差异。

old_db = set()

for line in open("list_old.txt"): #读取旧的数据集合
    accession = line.strip()
    old_db.add(accession)
    

new_db = set()

for line in open("list_new.txt"): #读取新的数据集集合
    accession = line.strip()
    new_db.add(accession)
    

new_entries = new_db.difference(old_db) #相较于旧数据库，新数据库的更新的内容

print("new entries", list(new_entries))
new entries ['s', 'm', 'o', 'n', 'q', 'r', 'p']

old_entries = old_db.difference(new_db)

print("deprecated entries", list(old_entries))  #相较于新数据库，旧数据库的过时的数据内容
deprecated entries ['c']

unique_entries = new_db.symmetric_difference(old_db) #新旧数据库各种特有的数据内容

print("unique entries", list(unique_entries))
unique entries ['s', 'r', 'm', 'o', 'c', 'n', 'q', 'p']

---