python爬虫

scrapy中使用xpath的坑

2018-12-25  本文已影响0人  风一样的存在

1.定位兄弟节点

在xpath解析中,通常有些页面很坑,定位到该节点但是对应的值确实在它的上面或者下面,所以怎么定位它的哥哥和弟弟呢。following-sibling和preceding-sibling,分别找寻下面的兄弟和上面的兄弟


preceding-sibling
following-sibling

2.元素中含有<br>会解析成两个selector

源码.png
scrapy解析.png

3.返回的response是html或者xml,里面的标签如果是大写的,会转化为小写 返回值的源码.png

在代码中debug的时候显示的却是:


scrapy代码中debug.png

scrapy中的xpath区分大小写。

上一篇 下一篇

猜你喜欢

热点阅读