二十五. 异步加载实战 - 简书网用户动态信息

爬取网址：https://www.jianshu.com/u/9104ebf5e177
爬取信息：用户动态类型，时间信息
爬取方式：使用bs4解析。
存储方式：打印出来

①爬取简书罗罗攀的用户动态信息：

image.png

②从打开URL到选择单击“动态”链接，网页URL没有发生该表，证明网页采用了异步加载技术。
利用Chrome的Network选项卡，选择XHR项，可以看到用户加载的动态文件。

image.png

③从Response项中可以看到每个LI标签就包含了一个用户动态内容，例如“关注了作者”，“喜欢了文章 ”，"发表了评论"等。经过确认，网址可以精简成：https://www.jianshu.com/users/9104ebf5e177/timeline

image.png

④通过下拉浏览发现网页采用Ajax进行分页处理：

image.png

⑤通过手工删除URL中的max_id字段，发现不能返回正常加载的内容，仅停留在首页动态当中。
而且每个页面的max_id都不同，数字规律也不是很明显，所以接下来构造URL的重点在于获取max_id的数字。

image.png

⑥经分析，原来数字的规律是这样子的，如下图所示：
第一页最后一个li标签中的id数字 = 第二页URL中的max数字 + 1

image.png

⑦由于Response返回的是XML文档，所以使用bs4的Lxml解析方法进行数据抓取工作。
抓取数据为：data-type和data-datetime。

image.png

⑧最后把结果打印出来。

代码如下：

import requests
from bs4 import BeautifulSoup

headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36'}

##获取data_type和datetime信息。
def get_info(url):   
    r = requests.get(url,headers = headers)
    soup = BeautifulSoup(r.text,"lxml")
    infos = soup.select("ul.note-list li")
    for info in infos:
        data_type = info.select("div.author span")[0].get("data-type")
        datetime = info.select("div.author span")[0].get("data-datetime")
        print(data_type,datetime)   

##获取max_id信息
def get_id(url):
    r = requests.get(url,headers = headers)
    soup = BeautifulSoup(r.text,"lxml")
    max_id = soup.select("ul.note-list li")[-1].get("id").split("-")[1]
    return int(max_id)

if __name__ == "__main__":
    start_url = "https://www.jianshu.com/users/9104ebf5e177/timeline"
    get_info(start_url)
    max_id = get_id(start_url) + 1
    
    #利用循环代替递归函数。
    for page in range(2,11):        
        next_url = "https://www.jianshu.com/users/9104ebf5e177/timeline?max_id={}&page={}".format(max_id, page)
        get_info(next_url)
        max_id = get_id(next_url) + 1

部分结果为：

like_user 2018-02-20T13:21:20+08:00
like_note 2018-02-20T12:45:47+08:00
comment_note 2018-02-17T09:31:48+08:00
like_note 2018-02-16T20:26:10+08:00
like_note 2018-02-15T16:13:39+08:00
...
comment_note 2017-08-22T17:50:54+08:00
like_note 2017-08-22T17:50:11+08:00
like_note 2017-08-22T16:40:18+08:00
like_user 2017-08-22T16:39:54+08:00
comment_note 2017-08-22T16:38:54+08:00