Scrapy 抓取本地论坛招聘内容 (一)

2018-05-04 本文已影响81人 Stevent

写的内容越来越多，因此做成一个系列，希望系列的最终，我能够找到一个中意的工作，谢谢大家。我将定期更新相关内容：
Scrapy 抓取本地论坛招聘内容 (一)
Scrapy 抓取本地论坛招聘内容 (二)

在跨境电商的圈子里也转了很久了，最近想换换岗位，我一下陷入了要喝西北风的困境，这可怎么办？赶紧撸起袖子看看招聘。

0x00 分析网页结构

开工之前，先看看网页结构，我们要获取的内容.

先看url

url = http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366

很明显，这是一个论坛，有五个参数,我们先一个一个删除，看看有什么变化：

mod=forumdisplay # 这是论坛显示方式，纯文字还是图片，大多数论坛都有这个，不能删除
fid=37 # 暂时不明白，我猜是论坛板块标记，不能删除
filter=author #过滤发布人，不能删除
orderby=dateline #按时间排序，时间降序，不能删除
typeid=366 # 招聘类目，不能删除

，经过测试，只要删除了其中任何一个参数，页面都不是我们想要的。我们当然要爬的不止一页，点击下一页看看有什么变化。

http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=2

多了一个参数，page=2，很明显这是控制显示第几页的。

获取爬取的连接

待爬取的页面

在谷歌浏览器中，鼠标移动到上红框所选文字上，鼠标右键选择检查，或者ctrl+shift+i。

待获取网页连接
可以看到我们想要的连接在一个a标签里面。
这里我们可以使用xpath简单的提取出内容:

//th/a[2]/@href # 所有帖子的连接

帖子详情内容
我们的目的是为了看招聘内容，因此除了楼主的内容，其他的不须要看。

详情内容

这几个内容是我们需要的：

链接 //h1/a/@href #帖子链接，方便人工排错，也是惟一地址
标题 //*[@id="thread_subject"]/text() # 这里主要用来存储做标题
时间 //*[@class="authi"]/em/span/@title #时间太久的，可能已经招到人了，也有的会在帖子内发出，封贴，这里就简单点，不想把逻辑弄的太复杂了
内容 //td[@class="t_f"]/text() #内容是我们真正想要的，如果有时间，我们可以细分，把内容里的邮箱，电话号码单独提取出来

0x01 创建爬虫工程

虽然是个小项目，自己手动写写也很快，但是为了记忆scrapy，还是选择用scrapy框架。

> scrapy startproject job #创建工程
> scrapy genspider cnnb http://bbs.cnnb.com #生成爬虫，名字叫cnnb

生成爬虫

查看下目录结构：

项目结构

可以看到在job/spiders下面有一个cnnb.py的文件了。

0x02 model设置

scrapy的item是向django学习的，因此还是model的意思.
打开job/items.py文件，添加这些内容：

import scrapy

class JobItem(scrapy.Item):
    link = scrapy.Field() #帖子连接
    title = scrapy.Field() #标题
    date = scrapy.Field() #发布日期
    content = scrapy.Field() #内容

0x03 爬虫主程序

打开job/spiders/cnnb.py. 我们能看到scrapy已经为我们创建好了模板，我们的工作就是在模板上进行修改。

# -*- coding: utf-8 -*-
import scrapy


class CnnbSpider(scrapy.Spider):
    name = "cnnb"
    allowed_domains = ["http://bbs.cnnb.com"]
    start_urls = ['http://http://bbs.cnnb.com/']

    def parse(self, response):
        pass

构建爬虫的爬取入口：

    start_urls = ['http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=1']

解析内容，注意这就是scrapy框架的强大之处，我们不用关心怎么下载内容，只须要定义好从哪儿开始爬取，和解析需要的内容：

    def parse(self, response):
        # 解析帖子链接
        links = response.xpath("//th/a[2]/@href")

这里我们可以使用scrapy提供的命令行工具，检查我们的查询条件写的是否正确：

$ scrapy shell http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=1

2018-04-23 15:30:45 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: job)
2018-04-23 15:30:45 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'job', 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'LOGSTATS_INTERVAL': 0, 'NEWSPIDER_MODULE': 'job.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['job.spiders']} 2018-04-23 15:30:46 [scrapy.middleware] INFO: Enabled extensions:
...
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
In [1]:

输入 response.xpath("//th/a[2]/@href")

返回结果
可以看到返回的是SelectorList类型，我们可以加上.exract()获取数据：

查询结果

其他几个也是这样测试，就不一一说明了。现在我们的文件内容应该是这样了。

# -*- coding: utf-8 -*-
import scrapy
from items import JobItem

class CnnbSpider(scrapy.Spider):
    name = "cnnb"
    allowed_domains = ["http://bbs.cnnb.com"]
    start_urls = ['http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=1']

    def parse(self, response):
        # 解析帖子链接
        links = response.xpath("//th/a[2]/@href").extract()

        # 解析每一个连接的帖子内容
        for each in links[:2]:
            yield scrapy.Request(each, callback=self.parse_content)

    def parse_content(self, response):
        jobitem = JobItem()
        jobitem['link'] = response.url
        jobitem['title'] = response.xpath('//*[@id="thread_subject"]/text()').extract_first() # 这里依然可以用extract(),不过exract()返回的是列表，extract_first()返回的是字符串
        jobitem['date'] = response.xpath('//*[@class="authi"]/em/span/@title').extract_first()
        jobitem['content'] = self._get_content(response)
        yield jobitem

    def _get_content(self, response):
        content =  response.xpath('//td[@class="t_f"]//text()').extract()
        return ''.join(content).replace('\r','').replace('\n','')

0x04 储存结果

此时我们已经可以储存结果，获取第一页的信息了。我们可以使用scrapy默认提供的命令：

> scrapy crawl cnnb -o cnnb.json

json结果

此时json文件已经有了，如果没有，可以在settings.py里修改下。

ROBOTSTXT_OBEY = True #True改成False 或者注释掉这条

可是文件内容是什么，完全看不懂呀，别急，这只scrapy的安全保护，在settings.py添加下面这条内容。

FEED_EXPORT_ENCODING = 'utf-8'

重新启动爬虫，再打开json看看：

utf-8格式化后json

又是可爱的中文了。

0x05 下一页

看到这儿，大家已经能爬取一页内容了，可能有人会说，“我去，一页我手翻也能看完了，我要的是所有页面呀”。
这就涉及到了，怎么看下一页？
回到网页结构，我们看看下一页网页代码是怎么样的？

可以看到是在a标签里。

        #下一页
        next_page = response.xpath('//a[@class="nxt"]/@href').extract_first()
        if next_page:
            yield scrapy.Request(next_page, callback=self.parse)

到这里我们已经能成功完成任务了。

下一步，我们将把数据存储到数据库，可以看Scrapy 抓取本地论坛招聘内容 (二)

代码