常用网站抓包分析

2018-07-19  本文已影响22人  幻想无极

简书30日热门数据

请求方式:GET
时间:2018-7-19
第一页直接请求,然后抓取数据

https://www.jianshu.com/trending/monthly?utm_medium=index-banner-s&utm_source=desktop

请求后面页数需要加载当前页面的data-note-id数据

C407C539-E8DF-4378-AF94-348C78CDBDAF.png

抓取当页的所有data-note-id以下面的形式进行分页


image.png

简书个人主页文章列表

抓包链接

https://www.jianshu.com/u/e163bc6048d8?order_by=shared_at&page=2

参数

order_by=shared_at
page=2

用抓包工具第一次这样抓是没问题的,如果后面再请求的话会返回304 Not Modified
原因是http的缓存将 If-None-MatchIf-Modified-Since 去掉就能抓取返回200的数据了
304 Not Modified详解

上一篇 下一篇

猜你喜欢

热点阅读