Spider基础之XPath
2020-03-04 本文已影响0人
嗒嘀嗒嗒嘀嗒嘀嘀
学习自刘大拿的Python课程
XPath
- 在XML文件中查找信息的一套规则/语言，根据XML的元素或者属性进行遍历
- http://www.w3school.com.cn/xpath/index.asp
XPath 开发工具
- 开源的XPath表达式编辑工具：XMLQuire
- Chrome插件：XPath Helper
- Firefox插件: XPath Checker
一个XML文件案例
<?xml version="1.0" encoding="utf-8" ?>
<School>
<Teacher desc="PythonTeacher" score="good">
<Name>LiuDana</Name>
<Age_1 Detail="Age for year 2010">18</Age_1>
<Mobile>13260446055</Mobile>
</Teacher>
<Student>
<Name Other="他是班长">ZhangSan</Name>
<Age Detail="The yongest boy in class">14</Age>
</Student>
<Student>
<Name>LiSi</Name>
<Age>19</Age>
<Mobile>15578875040</Mobile>
</Student>
<!-- 这是一个例子 -->
</School>
选取节点
- nodename: 选取此节点的所有子节点
- /： 从根节点开始选取，标签名必须与根节点一致
- //: 选取节点，不考虑位置（选取的几个节点一般组成列表返回）
- . ：选取当前节点
- .. ：选取当前节点的父节点
- @:选取属性
- xpath中查找一般按照路径方法查找,以下为路径表示方法实例
School/Teacher:返回Teacher节点
School/Student: 返回两个Student节点
//Student: 选取所有Studetn的节点，不考虑位置
School//Age:选取School后代中所有Age节点
//@Other: 选取Other属性
//Age[@Detail]: 选取带有属性Detail的Age元素
谓语-Predicates
/School/Student[1]: 选取School下面的第一个Student节点
/School/Student[last()]: 选取School下面的最后一个Student节点
/School/Student[last()-1]: 选取School下面的倒数第二个Student节点
/School/Student[position()<3]: 选取School下面的前二个Student节点
//Student[@score]: 选取带有属性score的Student节点
//Student[@score=”99″]: 选取带有属性score并且属性值是99的Student节点
//Student[@score]/Age: 选取带有属性score的Student节点的子节点Age
其他
- *：匹配任何元素节点
- @*：匹配任何属性节点
- node（）：匹配任何类型的节点
/bookstore/* 选取 bookstore 元素的所有子元素。
//* 选取文档中的所有元素。
//title[@*] 选取所有带有属性的 title 元素。
|: 或者
//Student[@score] | //Teacher: 选取带有属性score的Student节点和Teahcer节点
XPath轴
- 位置路径表达式
- 绝对路径
/step/step/...
- 相对路径
step/step/...
- Axis(轴)
| 轴名称 | 结果 |
|---|---|
| ancestor | 选取当前节点的所有先辈（父、祖父等）。 |
| ancestor-or-self | 选取当前节点的所有先辈（父、祖父等）以及当前节点本身。 |
| attribute | 选取当前节点的所有属性。 |
| child | 选取当前节点的所有子元素。 |
| descendant | 选取当前节点的所有后代元素（子、孙等）。 |
| descendant-or-self | 选取当前节点的所有后代元素（子、孙等）以及当前节点本身。 |
| following | 选取文档中当前节点的结束标签之后的所有节点。 |
| namespace | 选取当前节点的所有命名空间节点。 |
| parent | 选取当前节点的父节点。 |
| preceding | 选取文档中当前节点的开始标签之前的所有节点。 |
| preceding-sibling | 选取当前节点之前的所有同级节点。 |
| self | 选取当前节点。 |
- 步的语法
轴名称::节点测试[谓语]
| e.g. | 结果 |
|---|---|
| child::book | 选取所有属于当前节点的子元素的 book 节点。 |
| attribute::lang | 选取当前节点的 lang 属性。 |
| child::* | 选取当前节点的所有子元素。 |
| attribute::* | 选取当前节点的所有属性。 |
| child::text() | 选取当前节点的所有文本子节点。 |
| child::node() | 选取当前节点的所有子节点。 |
| descendant::book | 选取当前节点的所有 book 后代。 |
| ancestor::book | 选择当前节点的所有 book 先辈。 |
| ancestor-or-self::book | 选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点） |
| child::*/child::price | 选取当前节点的所有 price 孙节点。 |
运算符
| 运算符 | 描述 | 实例 | 返回值 |
|---|---|---|---|
| + | 加法 | 6 + 4 | 10 |
| - | 减法 | 6 - 4 | 2 |
| * | 乘法 | 6 * 4 | 24 |
| div | 除法 | 8 div 4 | 2 |
| = | 等于 | price=9.80 | 如果 price 是 9.80，则返回 true；如果 price 是 9.90，则返回 false。 |
| != | 不等于 | price!=9.80 | 如果 price 是 9.90，则返回 true；如果 price 是 9.80，则返回 false。 |
| < | 小于 | price<9.80 | 如果 price 是 9.00，则返回 true；如果 price 是 9.90，则返回 false。 |
| <= | 小于或等于 | price<=9.80 | 如果 price 是 9.00，则返回 true；如果 price 是 9.90，则返回 false。 |
| > | 大于 | price>9.80 | 如果 price 是 9.90，则返回 true；如果 price 是 9.80，则返回 false。 |
| >= | 大于或等于 | price>=9.80 | 如果 price 是 9.90，则返回 true；如果 price 是 9.70，则返回 false。 |
| or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80，则返回 true；如果 price 是 9.50，则返回 false。 |
| and | 与 | price>9.00 and price<9.90 | 如果 price 是 9.80，则返回 true；如果 price 是 8.50，则返回 false。 |
| mod | 计算除法的余数 | 5 mod 2 | 1 |
