python 入门我爱编程Python和爬虫

Python爬虫系列(二)Quotes to Scrape(谚语

2017-04-17  本文已影响564人  致Great

接下来自己会写一些关于爬虫 实战的内容,把所学的知识加以运用。这篇文章是关于一个英文谚语网站的谚语爬取,并输出结果。

这个网站大致有10页谚语,所以是一个关于selenium使用的例子,大致思路使用webrdriver获取“下一页”按钮,获取每一页源码,输入所要的谚语

使用到的模块或工具(这些要提前准备好):

1、 BeautifulSoup

2、selenium 

3、time

4、driver=webdriver.Chrome("G:/chromedriver/chromedriver.exe")(我使用的Chrome驱       动, PhantomJS也可以)

(ps:初期学习爬虫的拾遗与总结这里有介绍)

目标网站:Quotes to Scrape

目标网站

1、打开Chrom的开发者工具,找到谚语所在的位置

谚语所在位置

2、找到下一页按钮Next

next按钮

3、把所要提取谚语的位置和下一页按钮位置确定之后,下面所写的代码:

加了详细备注,看起来应该不算困难

#xpath和自动化的结合使用

#from lxml import etree

from bs4 import BeautifulSoup

from selenium import webdriver

import time

#加载驱动

driver=webdriver.Chrome("G:/chromedriver/chromedriver.exe")

#driver = webdriver.PhantomJS()#这个我没试

#打开目标网址并获取源码

driver.get('http://quotes.toscrape.com/')

soup=BeautifulSoup(driver.page_source,'lxml')

i=0

while True:

try:

#找到并获取第一页的谚语位置span集合:items,点击下一页之后会变成下一页的谚语集合

items=soup.find_all('span',class_='text')

#打印获取到第一页的谚语

for item in items:

print('谚语'+str(i)+':')

print(item.text)

i+=1

#获取下一页next按钮

elem=driver.find_element_by_xpath('//ul[@class="pager"]/li[@class="next"]/a')

elem.click()

#停顿2秒,页面观察点击下一页的效果

time.sleep(2)

#获取下一页源码

soup=BeautifulSoup(driver.page_source,'lxml')

except:

break

4、下面是结果:

结果图
上一篇下一篇

猜你喜欢

热点阅读