pandas数据保存至Mysql数据库
2019-04-03 本文已影响111人
我爱学python
因为最近又在写爬虫,所以想把爬到的数据(dataframe格式)存在mysql里
终于在今天下午成功了
小试牛刀
注:需要你修改的部分:
(1)db是你本地数据库的名称(你用自己本地的数据库名称)
(2)password是你本地数据库的密码
这里我创建了一个简单的df用于测试:
结果运行成功:
本地数据库自动新建了一个test1表,数据成功写入,(我用的mysql客户端软件是:Navicat)
大显身手
当然,我们平时数据清洗好的df或者爬虫爬到的数据做成df怎么保存到mysql呢?
其实现在看起来就很简单了
当然,在这里,我只教会大家怎么保存df到mysql
如果大家对爬虫和数据分析清洗有兴趣,可以看我以前写的文章
我打开了一个爬虫爬到的房地产数据,如下图:
我们看一下数据的df:
我们现在要将这个df写入mysql,就好比爬到的数据或者清洗完的数据写入mysql:
注:需要你修改的部分:
(1)db是你本地数据库的名称(你用自己本地的数据库名称)
(2)password是你本地数据库的密码
运行结果是,捕获到了异常:
意思大概是:一部分拉丁无法编码,所以我们设置一下编码方式:charset=utf8
注:需要你修改的部分:
(1)db是你本地数据库的名称(你用自己本地的数据库名称)
(2)password是你本地数据库的密码
只修改了这一行代码:
我们打开本地的数据库,右键刷新:
已经可以看到,数据已经写入mysql了
大家想要加其他功能可以参考:
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_sql.html