Python学习，还在用正则或者bs4做爬虫吗？来试试css选择

2018-12-08 本文已影响139人妄心xyx

之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现，如果你对web有所涉及，并且比较喜欢css选择器，那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的！

安装

直接pip安装即可：pip install pyquery

安装完成后，运行 pip show pyquery，如果出现相关信息即为安装完成！

如果pip安装失败，可以去官网https://pypi.org/project/pyquery/#downloads下载wheel文件，然后用pip安装即可，注意文件名字要写全，比如：pip install pyquery-1.2.17-py2.py3-none-any.whl ,该命令请在同一目录下使用。

使用

确保安装成功后就可以开始使用了，它和其他库一样，PyQuery 初始化的时候也需要传入 HTML 数据源来初始化一个操作对象，它的初始化方式有多种，比如直接传入字符串，传入 URL，传文件名。

我们用requests库搭配来写个简单的抓取凤凰新闻的小爬虫，方便理解：

打开凤凰网——资讯——即时新闻，我们就以抓取这个页面的所有新闻为例吧！

Python学习，还在用正则或者bs4做爬虫吗？来试试css选择器吧

这里没有反爬，页数也不是很多（4页），非常方便用来讲解！分析下网页结构后发现，所有的新闻目录都存在于网页源代码中，每页大概有60多条，我们先来抓取一页的标题和url试试

Python学习，还在用正则或者bs4做爬虫吗？来试试css选择器吧

可以看到，标题和url都在class=newsList的div下的ul->li->a标签下（用a标签的target属性匹配的话太多，不好清洗），我们可以直接写如代码去获取相关内容了，如下图：

Python学习，还在用正则或者bs4做爬虫吗？来试试css选择器吧

前面是常规的requests库获取源代码html，然后用PyQuery解析网页源代码，重点是后面的定位到a标签和取出内容。

doc('.newsList ul a') 的意思是定位class属性为newsList的标签下面的ul下面的a标签，注意newsList前面有个点，代表class属性，ul和a标签之间有个li标签，因为ul下的a标签是唯一，所以省略了(ul标签没有省略是因为最下面翻页部分也在这个div下，省略会有其他内容出现，下面会单独提取)!然后定位到a标签后，用items（）方法将所有的a标签取出，然后遍历取出里面的内容。

这里提取标签的内容用了2个方法text()和attr()：

text()方法，可以提取出标签下的所有文本内容，注意是所有！！！

attr()方法，取出标签的某属性，2中写法都可以：new.attr.href 和new.attr('href')

然后在看翻页，我们只需要判断是否存在下一页，存在时，查找所有的标题和url，然后获取下一页的url，继续查找，直到不存在下一页，所有的页面就都遍历过了！为了方便，直接做成了一个函数，来看代码