python简单爬虫示例

2019-12-10  本文已影响0人  顺子_aba3

源码

import requests
from lxml import html
url='https://movie.douban.com/' #需要爬数据的网址
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
}
page=requests.get(url,headers=headers)
tree=html.fromstring(page.text)
result=tree.xpath('//td[@class="title"]//a/text()') #获取需要的数据
print(result)

知识点

1.requests库:发送网络请求
2.lxml库:HTML和XML的解析
3.xpath:XML 文档中查找信息

上一篇 下一篇

猜你喜欢

热点阅读