大数据挖掘工厂Python小哥哥有趣的python

pandas数据保存至Mysql数据库

2019-04-03  本文已影响111人  我爱学python

因为最近又在写爬虫,所以想把爬到的数据(dataframe格式)存在mysql里

终于在今天下午成功了

小试牛刀


注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

这里我创建了一个简单的df用于测试:

结果运行成功:

本地数据库自动新建了一个test1表,数据成功写入,(我用的mysql客户端软件是:Navicat)

大显身手

当然,我们平时数据清洗好的df或者爬虫爬到的数据做成df怎么保存到mysql呢?

其实现在看起来就很简单了

当然,在这里,我只教会大家怎么保存df到mysql

如果大家对爬虫和数据分析清洗有兴趣,可以看我以前写的文章

我打开了一个爬虫爬到的房地产数据,如下图:

我们看一下数据的df:

我们现在要将这个df写入mysql,就好比爬到的数据或者清洗完的数据写入mysql:

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

运行结果是,捕获到了异常:

意思大概是:一部分拉丁无法编码,所以我们设置一下编码方式:charset=utf8

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

只修改了这一行代码:


我们打开本地的数据库,右键刷新:

已经可以看到,数据已经写入mysql了

大家想要加其他功能可以参考:

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_sql.html

上一篇下一篇

猜你喜欢

热点阅读