冰冻三尺测试首页投稿(暂停使用,暂停投稿)

Python-BeautifulSoup 实战(一):获取简书

2016-05-09  本文已影响1734人  链球选手

BeautifulSoupPython 非常好用的一个库,可以用它来方便地解析网页内容,获取我们需要的数据,几乎是Python 爬虫居家旅行必备的库,这个系列的文章会记录下用BeautifulSoup获取简书数据的过程,但不会详细介绍 BeautifulSoup 的用法,有需要的同学可以参见官方文档。

第一篇介绍怎么用 BeautifulSoup 获取简书作者的基本信息,包括文章数量、粉丝数量、获得的喜欢等,先把需要的库导进来:

import requests
from bs4 import BeautifulSoup

打开你的简书主页地址,复制到url:

url = 'http://www.jianshu.com/users/65ed1c462691/top_articles'

你会发现所有用户主页的域名都是'http://www.jianshu.com/users/ + ID 这个ID每个人都不同,接下来我们会用到 requests ,当然你也可以直接用 Pythonurlib 来获取网页内容,我选择requests是因为它的语法更简单,用requests 请求数据之前先伪装成浏览器,否则很可能被服务器拒绝:

header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:36.0) Gecko/20100101 Firefox/36.0'}
response = requests.get(url, headers=header)
html = response.text

然后把得到的 html 传入到 BeautifulSoup 进行解析,这里用了 Python 自带的 html.parser(建议使用lxml

soup = BeautifulSoup(html, 'html.parser')

网页内容较多,我贴一部分上来:

<title>Cescfangs - 简书</title>
<meta content="authenticity_token" name="csrf-param"/>
...
<div class="user-stats">
<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>关注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉丝</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字数</span></a>
</li>
<li>
<a><b>166</b><span>收获喜欢</span></a>
</li>
</br></ul>
</div>
</div>

粗略一看,发现我们作者的基本信息(文章数、收到的喜欢等)都包含在<ul class="clearfix">这个标签内,让我们用 BeautifulSoup 找到这个标签:

author_info = soup.find_all('ul', class_='clearfix')

author_info 的内容如下:

[<ul class="clearfix">
 <li>
 <a href="/users/65ed1c462691/subscriptions"><b>11</b><span>关注</span></a>
 </li>
 <li>
 <a href="/users/65ed1c462691/followers"><b>104</b><span>粉丝</span></a>
 </li>
 <br>
 <li>
 <a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
 </li>
 <li>
 <a><b>15315</b><span>字数</span></a>
 </li>
 <li>
 <a><b>166</b><span>收获喜欢</span></a>
 </li>
 </br></ul>]

返回的结果是一个可迭代对象,其实只有一个元素:

info = author_info[0]

现在变成了这样:

<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>关注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉丝</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字数</span></a>
</li>
<li>
<a><b>166</b><span>收获喜欢</span></a>
</li>
</br></ul>

我们获得了一个新的 BeautifulSoup 标签对象,再观察我们需要的数字都在这个对象的 b 标签里,再把它们找出来:

numbers = info.find_all('b')
numbers
#[<b>11</b>, <b>104</b>, <b>19</b>, <b>15315</b>, <b>166</b>]

嗯嗯,距离成功很近了,处理一下数据,保留我们需要的数字就够了:

number_list = [int(item.string) for item in numbers]

number_list 是这样子的:

[11, 104, 19, 15315, 166]

好像还漏了作者的名字,名字就藏在 title 标签里,这里用了 find,它只返回第一个符合要求的结果:

name = soup.find('title')
name.string
#'Cescfangs - 简书'

把不要的后缀去掉:

author_name = name.string[:-5]
author_name
#'Cescfangs'

嘿嘿嘿,写个简单的函数整合一下我们获得的数据:

def author(name, number_list):
    author_dict = {}
    author_dict['name'] = name
    author_dict['following'] = number_list[0]
    author_dict['fans'] = number_list[1]
    author_dict['articles'] = number_list[2]
    author_dict['words'] = number_list[3]
    author_dict['likes'] = number_list[4]
    
    return author_dict

试试看:

cesc = author(author_name, number_list)
cesc
'''
{'articles': 19,
 'fans': 104,
 'following': 11,
 'likes': 166,
 'name': 'Cescfangs',
 'words': 15315}''''

再写个函数方便输出:

def print_author(author_dict):
    print(author_dict['name'], '有', author_dict['fans'], '个粉丝,写了',        author_dict['articles'],
          '篇文章,码了', author_dict['words'], '个字,\n收割了', author_dict['likes'],
          '颗喜欢, 他悄悄关注了', author_dict['following'], '人~~~')
    
print_author(cesc)
#Cescfangs 有 104 个粉丝,写了 19 篇文章,码了 15315 个字,
#收割了 166 颗喜欢, 他悄悄关注了 11 人~~~

本文的源码(Jupyter Notebook)戳这里

上一篇 下一篇

猜你喜欢

热点阅读