Python爬取豆瓣电影动态数据
2020-05-04 本文已影响0人
黑猫编程
之前我们使用爬虫只是模拟浏览器发送一条url请求，就可以爬取网站的页面。然而很多网站的数据是通过Ajax动态发送的，即在不改变url的基础之上加载页面信息。
我们以豆瓣电影排行榜为例：
如果请求这个url是得不到任何信息的，因此我们要抓包的到动态的url。
当我们向下滑动页面，就会加载出更多的科幻电影，而网页的url并没有发生变化。
Response里面获得一个响应值，放到json解析工具解析出来是一个列表数据类型，里面嵌套了字典。
image
将请求参数转化为字典键值对：
最后利用for循环遍历，得到电影的详细信息。
