大数据 爬虫Python AI Sqlpython入门基础学习

Python3爬虫教程:PyQuery详解!

2019-01-26  本文已影响1人  编程新视野

PyQuery 简介

PyQuery 用于对 XML 文档进行操作,比如:查询 XML 文档中的某个元素,获取某个元素的属性等。它的 API 和前端著名框架 jQuery 相似,名字的由来也是基于此。(官方介绍:pyquery: a jquery-like library for python)

安装

<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">$ pip3 install pyquery

</pre>

加载 XML 文档

pyquery 提供了三种 XML 加载方式:

从字符串中加载;

从 url 加载;

从文件加载;

这里,我们一般使用 Requests 获取网络资源数据,接着,使用 pyquery 从字符串中加载数据。

这样做的理由是,Requests 作为一个专门的网络库,有较强的定制能力。

简单看下示例代码:

查询元素

查询元素的核心点是 CSS 选择器(CSS Selector),大家可以通过搜索引擎查找相关资料。

Tip

PyQuery 支持手动选择解析器(parser),如下:

<pre style="-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">pq('<html><body><p>toto</p></body></html>', parser='xml')

</pre>

parse 的取值是:

xml

html

html5

soup

html_fragments

默认使用的是 lxml 的 xml 解析器,一般不需要手动选择。这里只是作为一个小知识点提及。

源码视频书籍练习题等资料进群696541369 即可免费获取

更多python记得关注我的公众号 从0到1Python之路

上一篇下一篇

猜你喜欢

热点阅读