Python数据采集与爬虫互联网科技爬虫专题

soda学python---简单爬糗百

2017-07-29  本文已影响520人  soda哒哒

在知乎上看过很多爬虫相关,一直没有动手,现在开始get my hand dirty.
本篇在学习知乎大神xzld的Web crawler with Python - 03.豆瓣电影TOP250基础上,简单爬取了糗百上的笑话。

结果.png

任务目标

利用python爬取糗事百科上的笑话。

任务理解

在做任何爬虫之前,我们首先需要了解一下想要爬取的对象

通过观察我们发现,笑话内容位于<div class=content>的<span>标签下。
那么我们的任务即转变为:
在糗事百科的HTML中找到<.div class=content>的<span>标签的文本内容。

源代码截图.png

因此,我们将任务即可分为三部分:

任务进行

环境准备

import warnings 
warnings.filterwarnings('ignore')

import requests
from bs4 import BeautifulSoup
import codecs

引入requests,BeautifulSoup,codecs及warnings包。warnings包主要用来忽略编码过程中的警告提示,我常喜欢把它写在编码前

下载页面

我们使用requests中的get方法来获取页面,

URL="https://www.qiushibaike.com/"
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'}
html=requests.get(URL,headers=header).content

简单介绍代码内容

  1. 第一行代码指定网页
  2. 第二行代码指定请求头User-Agent(表示浏览器类型),用来将爬虫伪装成浏览器。
  3. 第三行利用requests.get().content 获取指定网页源代码。

注意reuqests.get(URL,headers=header)中headers不能省略

网页源代码.png

一般,浏览器在向服务器发送请求的时候,会有一个请求头——User-Agent,它用来标识浏览器的类型.当我们使用requests来发送请求的时候,默认的User-Agent是python-requests/2.8.1(后面的数字可能不同,表示版本号),通常我们需要要将User-Agent伪装成浏览器的,来解决某些网页反爬虫的问题。这是一种简单的反爬虫机制

解析页面

通过上部我们的得到网页源代码,但是看起来非常的乱,毫无头绪,就像一锅东北乱炖。然后通过BeautifulSoup,包如其名,总能把乱糟糟的菜熬成很漂亮的一锅汤,让你很方便的找到需要的内容。

soup=BeautifulSoup(html)
soup.png

如上图,BeautifulSoup将源代码很好的处理为了标签加内容的格式,非常利于我们来查找内容。

    joks=soup.find_all('div',attrs={'class':'content'})
    jok_list=[]
    for joks in jokss:
        jok=joks.find('span').getText()
        jok_list.append(jok)
  1. 第一行利用find_all找到所有标签为<div class=content>内容
    图片.png
  2. 第二行创建一个空列表jok_list,用来存储之后找到的笑话
  3. 第三行建立一个循环,利用find依次查找每一个<div class=content>中的<span>标签并获取其中的文本内容,利用append函数存储到jok_list
next_page=soup.find('ul',{'class':'pagination'}).find_all('a')[-1]['href']
next_page=URL[:-1]+next_page
next_page.png

点击下一页,查看元素。我们发现下一页的链接再<ul,class=pagination>的最后一个标签<'a'>下。因为使用find只能返回匹配的第一个对象,因此这里我们使用find_all找到所有匹配对象的列表。再通过soup.find('ul',{'class':'pagination'}).find_all('a')[-1]定位到最后一个对象,即包含下一页信息的对象.

注意
以第一页为例得到的结果为* '/8hr/page/2/' ,需要与 URL='https://www.qiushibaike.com/'拼接。但是如果直接连在一起得到结果为
'https://www.qiushibaike.com//8hr/page/2多了一条‘/’因此,使用URL[-1]+next_page才能得到正确的链接。 'https://www.qiushibaike.com/8hr/page/2 *

存储

 codecs.open('joks','wb',encoding='utf-8') as fp:
 fp.write(u'{jok_list}\n'.format(jok_list='\n'.join(jok_llist)))

任务总结

import requests
from bs4 import BeautifulSoup
import warnings 
import codecs
warnings.filterwarnings('ignore')

def download_page(url):
    header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'}
    html=requests.get(URL,headers=header).content
    return html

def parsel_html(html):
    soup=BeautifulSoup(html)
    joks=soup.find_all('div',{'class':'content'})
    jok_list=[]
    for joks in jokss:
        jok=joks.find('span').getText()
        jok_list.append(jok)
    next_page=soup.find('ul',{'class':'pagination'}).find_all('a')[-1]['href']
    if next_page:
        return jok_list,URL[:-1]+next_page
    return jok_list,None
def main():
    URL="https://www.qiushibaike.com/"
    with codecs.open('joks','wb',encoding='utf-8') as fp:
        while URL:
            HTML=download_page(URL)
            JOK,URL=parsel_html(HTML)
            fp.write(u'{JOK}\n'.format(JOK='\n'.join(JOK)))
                               
if __name__ == '__main__':
    main()                               
上一篇下一篇

猜你喜欢

热点阅读