Kaggle黑科技

1.当内存不足遇上超大的数据

1.1https://www.kaggle.com/c/talkingdata-adtracking-fraud-detection/discussion/56105

1.2https://blog.csdn.net/xingkong_dahai/article/details/77140918

分块读取完后，对int,float和object进行修改类型，可以节省很多内存，然后再保存成pickle文件，下次再读该文件的时候，速度也可以快很多，而且内存也小。

还有hdf5哦