百万数据CSV文件对比及处理

set() 没有顺序，遍历速度快,值具有唯一性

old.csv    600万条记录

compare.csv  600万条记录

读文件：0.0005s

old_csv = open('old.csv')    #80bytes,#生成器

转化为可读数据结构(set())：600万条数据，17.03s

old_set = set()

for line in db_reader:

        old.set.add(line[4])

转化为可读数据结构(list)：600万条数据，15s

old_list = []

for line in db_reader:

        old.set.append(line[4])

遍历：

for _ in old_list:    #0.078s

    continue

for _ in old_set:    #0.56s

    continue

if 'a' in old_set:    #9.5 -07s

    pass

if 'a' in old_list:   #0.066s

    pass