爬虫

xpath的高级用法:获取标签下的所有文本,包括子标签下的文本;

2018-04-26  本文已影响107人  sexy_cyber

from lxml import etree
tree = etree.HTML(content)
object = tree.xpath('xpath规则') .........得到匹配对象
核心用法:
content = object.xpath('string(.)') ............返回字符串
content = content.replace('\n','').replace(' ','') ..过滤掉换行和空格

应用场景:很多时候网页会给一段文字加上<em>,<b>,<span>标签;来实现对一段文本内不同文字样式的操作,但是这对爬虫就不大友好了,需要,需要更为复杂的匹配规则和信息过滤;

上一篇下一篇

猜你喜欢

热点阅读