CSV文件数据校验清洗

2019-05-23  本文已影响0人  一笑乘风凉

场景:读取一个csv文件,对csv文件中的数据做如下处理:

(1)查询每列数据中是否存在NAN值,若存在,将NAN值所在的行列加入到字典中,并标明“NAN”;若不存在,不做任何处理;

(2)判断每列中每个数据的数据类型是否与指定的数据类型一致,若不一致,将其行列值加入到字典中,并标明“数据格式不一致”;若一致,不做任何处理。

程序实现过程:

(1)读取csv文件,得到DataFrame类型的数据data;

(2)遍历data中的列;

(3)对每列中的每个数据判断其是否为“NAN”或存在数据类型不一致,若存在,则将其添加到字典d中。

上一篇 下一篇

猜你喜欢

热点阅读