Python爬虫—糗事百科

糗事百科
简单谈一谈糗事百科的爬取思路（URL：http://www.qiushibaike.com/text/）
当准备要去爬一个网站前我们应该去思考以下几点：

• 1.我们要抓取内容的加载方式
• 2.分页问题
• 3.选择解析库（通过框架scrapy/requests+Beautifulsoup）

加载方式

经过分析糗事百科的网站属于比较正常（不用抓包，或者模拟浏览器之类的）的一个网站（我们经常可以看到爬虫的入门基础教程很多都以这个网站作为示例），在源码中我们可以看到我们想要获取的信息。搞清楚加载方式我们就可以对应着去解析网页，抓取我们想抓的内容了。

分页问题

我们通过几张截图来看一下，点击下一页或者切换到某一页之后URL的变化

初始URL（第一页） 第二页 第五页
通过以上几张图片可以看出糗事百科的分页是通过page之后的数字控制的，所以我们可以很容易构造出它的分页URL

urls = [self.url+'page/{}/?s=4985075'.format(i) for i in range(1,36)]

这一块整明白之后，我们就可以去写代码抓取信息了。

信息抓取

老大的要求是：

2.1）糗百 http://www.qiushibaike.com/text/
包括：作者，性别，年龄，段子内容，好笑数，评论数

接下来我们看一下这些字段的位置，以及怎样去获取。

信息内容 循环点

<em>可以看出，这一部分一直在重复，每一块刚好包含所有信息</em>
这里说一下我解析这个网页的思路：
我主要是通过xpath去找我要抓取的字段，找到循环点然后逐个获取，这里有几个问题需要注意一下：

• 1.匿名用户 对于匿名用户自然就没有性别年龄的区别了，所以我们要特殊处理处理

• 2.性别 在页面中我们通过符号很容易判别，但是我们在源代码中可看不到性别的区分

男 女

通过这两张图我们可以很清晰的看出他们的的区别在哪里

示例代码

里边含有自己写的类，可以参考python简单操作csv文件小例这篇文章

# -*- coding:utf-8 -*-

import requests
from lxml import etree
from Class.store_csv import CSV

class QiuShi(object):
    headers = {
            "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
        }
    url = 'http://www.qiushibaike.com/text/'
    def __init__(self):
        field = ['作者', '性别', '年龄', '段子内容', '好笑', '评论']
        self.write = CSV('qiushi.csv',field)
    #总页码
    def totalUrl(self):
        urls = [self.url+'page/{}/?s=4985075'.format(i) for i in range(1,36)]
        for url in urls:
            print u'正在获取：'+url.split('/')[-2]+u'页'
            self.getInfo(url)
    #抓取详细信息
    def getInfo(self,url):
        item = {}
        html = requests.get(url,headers=self.headers).text
        data = etree.HTML(html)
        infos = data.xpath('//*[@class="article block untagged mb15"]')
        #print infos
        for info in infos:
            try:
                item[1] = info.xpath('div[1]/a[2]/h2/text()')[0]
                try:
                    age = info.xpath('div[1]/div[@class="articleGender womenIcon"]/text()')[0]
                    item[2] = u'女'
                    item[3] = age
                except:
                    age = info.xpath('div[1]/div[@class="articleGender manIcon"]/text()')[0]
                    item[2] = u'男'
                    item[3] = age
            except:
                item[1] = u'匿名用户'
                item[2] = u'不详'
                item[3] = u'不详'
            item[4] = info.xpath('a/div/span/text()')[0].strip()
            item[5] = info.xpath('div[2]/span[1]/i/text()')[0]
            item[6] = data.xpath('//*[@class="qiushi_comments"]/i/text()')[0]
            row = [item[i] for i in range(1,7)]
            self.write.writeRow(row)

if __name__=="__main__":
    qiushi = QiuShi()
    qiushi.totalUrl()

结果

结果