Scrapy爬取银行理财产品信息（共12多万条）并存入Mongo

本次Scrapy爬虫的目标是爬取“融360”网站上所有银行理财产品的信息，并存入MongoDB中。网页的截图如下，全部数据共12多万条。

我们不再过多介绍Scrapy的创建和运行，只给出相关的代码。关于Scrapy的创建和运行

修改items.py，代码如下，用来储存每个理财产品的相关信息，如产品名称，发行银行等。

创建爬虫文件bankSpider.py，代码如下，用来爬取网页中理财产品的具体信息。

为了将爬取的数据储存到MongoDB中，我们需要修改pipelines.py文件，代码如下：

其中的MongoDB的相关参数，如MONGO_HOST, MONGO_PORT在settings.py中设置。修改settings.py如下：

ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {'bank.pipelines.BankPipeline': 300}

添加MongoDB连接参数

MONGO_HOST ="localhost"# 主机

IPMONGO_PORT =27017# 端口号

MONGO_DB ="Spider"# 库名 

MONGO_COLL ="bank"# collection名# 

MONGO_USER = ""# MONGO_PSW = ""

其中用户名和密码可以根据需要添加。

  接下来，我们就可以运行爬虫了。运行结果如下：

共用时3小时，爬了12多万条数据，效率之高令人惊叹！

  最后我们再来看一眼MongoDB中的数据：