删除重复

使用列表删除重复

input_file = open("infile.txt")
out_file = open("outfile.txt","w")
unique = []
for line in input_file:
    if line not in unique:
        output_file.write(line)
        unique.append(line)
output_file.close()

如果不关心记录的顺序，还可以使用集合删除重复，可以将数据全部读进一个集合

input_file = open("infile.txt")
output_file = open("outfile.txt","w")
unique = set(input_file)
for line in unique:
    output_file.write(line)

在本例中，通过将行读取至集合unique = set(input_file)的办法，将输入文件的行添加到名为unique的集合，集合是唯一元件的无序基和，因此与集合中的现有文件行完全相同多个行就不会被添加进去了