scrapy

scrapy (手把手)创建项目 从零开始做第一个爬虫 实战

2018-04-08  本文已影响0人  朱允见

从零开始做第一个scrapy 框架爬虫

1.项目创建

2.编写scrapy 爬虫项目

2.1 编写items.py
import scrapy

class DemoItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    grade = scrapy.Field()
    info = scrapy.Field()
    img = scrapy.Field()
2.2 spiders下的 demo.py 文件
# -*- coding: utf-8 -*-
import scrapy

import re
from Demo.items import DemoItem

class ItcastSpider(scrapy.Spider):
    name = 'demo'
    #允许域,可以是多个
    allowed_domains = ['http://www.itcast.cn']
    
    #scrapy 开始发起请求的地址
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

    def parse(self, response):

        html = response.text
        reg =r'<img data-original="(.*?)">.*?<div class="li_txt">.*?<h3>(.*?)</h3>.*?<h4>(.*?)</h4>.*?<p>(.*?)</p>'
        infos = re.findall(reg,html,re.S)

        for img,name,grade,talk in infos:
            item = DemoItem()
            item['name'] = name
            item['grade'] = grade
            item['info'] = talk
            item['img'] = self.allowed_domains[0] + img
            #这里是用的yield 而不是return
            yield item
2.3 编写pipelines.py文件
import json

class DemoPipeline(object):
    #初始化的操作,这里我们做本地化直接写成文件,所以初始化文件对象
    def __init__(self):
        print('实例化DemoPipeline')
        self.f = open('itcast_pipeline.json','w',encoding='utf-8')

    def process_item(self, item, spider):
        content = json.dumps(dict(item))
        self.f.write(content)
        print(content)
        return item
    #结束后做的操作,在这里我们要关闭文件
    def close_spider(self,spider):
        print('结束')
        self.f.close()
2.4 打开settings.py 文件更改配置

3.运行项目

结束

上一篇下一篇

猜你喜欢

热点阅读