Python爬虫实战,requests模块,抓取豆瓣读书Top2

2022-08-06  本文已影响0人  扒皮狼

前言

今天为大家带来利用Python爬虫抓取豆瓣读书Top250,废话不多说。

Let's start happily

image.png

开发工具

Python版本: 3.6.4

相关模块:

requests模块

lxml模块

csv模块

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

思路分析

本文以爬虫抓取豆瓣读书,讲解如何爬取豆瓣读书Top250!

前期准备

1.获取页面内容

for url in urls:
    html = requests.get(url, headers=headers)
    selector = etree.HTML(html.text)

2.提取整个豆瓣书籍页面数据

 infos = selector.xpath('//tr[@class="item"]')

3.获取豆瓣书籍书名', '作者/译者', '出版社or时间信息', '价格', '评分', '评价人数', '评语', '相应的豆瓣链接'。

for info in infos:
        name = info.xpath('td/div/a/@title')[0]  # 书名.
        url = info.xpath('td/div/a/@href')[0]  # 链接.
        book_infos = info.xpath('td/p/text()')[0]
        author = book_infos.split('/')[0]  # 作者.
        publisher = book_infos.split('/')[-3]  # 出版社.
        date = book_infos.split('/')[-2]  # 出版时间.
        price = book_infos.split('/')[-1]  # 价格.
        rate = info.xpath('td/div/span[2]/text()')[0]  # 评分.
        number = info.xpath('normalize-space(td/div/span[3]/text())')  # 评价人数
        comments = info.xpath('td/p/span/text()')  # 评语.
        comment = comments[0] if len(comments) != 0 else "空"

运行结果

image.png

4.写入数据

       writer.writerow(("《"+name+"》", url, author, publisher, date, price, rate + "分", number, comment))

#代码测试2022.8.6无异常

效果展示

豆瓣数据词云图
上一篇下一篇

猜你喜欢

热点阅读