scrapy 创建及简单的爬虫demo

本文只是记录学习的过程，后期会重新整理：
创建项目下的spiders文件夹下的spider。

以爬取百度信息为例：
- spiders
- init.py (已有文件)
- baidu.py (需要新建，名称自行定义，要有区分性)

下面主要以 baidu.py 文件为讲解

# 导入 scrapy 模块；如果变红，原因可能是项目的编译环境中没有scrapy模块，重新选择正确的编译环境即可
import scrapy

# 新建一个爬虫类
# 格式： class 爬虫名称+Spider(scrapy.Spider)
class BaiduSpider(scrapy.Spider):
    # 1. 指定爬虫名称, 要与项目关联，后期在log中方便审查
    name = "baidu"
    
    # 2. 初始启动链接, start_urls 这个属性名是固定的
    start_urls = ['http://www.baidu.com'] 

    # 3. 重写 Spider 类下的 parse 方法，parse()起解析功能
    # 此步骤已经请求一次结束，进行解析。在框架的 downloader 下载完成后将页面源代码传给 spider 。spider进行解析。
    # 文件写入路径是项目的根目录下
    def parse(self, response):
        with open('baidu.html', 'w', encoding='utf-8') as f:
            f.write(response.body.decode('utf-8'))
        

以上已经完成一个简单的百度页面的爬取功能。

• 进行调试
  • 在该项目的文件夹下 进入命令行模式。
  • 执行 scrapy crawl baidu

此处应该会失败。因为每个网站都有一个robots.txt，表示网站不允许爬的网站目录。scrapy框架遵守该协议。所以需要修改Scrapy框架的配置文件

• 在项目目录下的 settings.py 修改一下内容：
  • ROBOTSTXT_OBEY = False # 默认是True
  • 命令行下重新执行 scrapy crawl baidu