CSV文件数据校验清洗
2019-05-23 本文已影响0人
一笑乘风凉
场景:读取一个csv文件,对csv文件中的数据做如下处理:
(1)查询每列数据中是否存在NAN值,若存在,将NAN值所在的行列加入到字典中,并标明“NAN”;若不存在,不做任何处理;
(2)判断每列中每个数据的数据类型是否与指定的数据类型一致,若不一致,将其行列值加入到字典中,并标明“数据格式不一致”;若一致,不做任何处理。

程序实现过程:
(1)读取csv文件,得到DataFrame类型的数据data;
(2)遍历data中的列;
(3)对每列中的每个数据判断其是否为“NAN”或存在数据类型不一致,若存在,则将其添加到字典d中。