python爬虫练习-爬取豆瓣电影：环太平洋：雷霆再起部分信息

1.导入的库：requests、lxml

2.xpath获取

火狐浏览器：打开网页，按F12,选择查看器

点击查看器左边按钮或使用ctrl+shift+c,查看页面元素

如标题的xpath信息为：/html/body/div[3]/div[1]/h1/span[1]

代码

#coding-utf8
import requests
from lxml import etree

url = 'https://movie.douban.com/subject/20435622/'
data = requests.get(url).text                           #获取页面的text
s = etree.HTML(data)                                    #解析data

#xpath信息
film =s.xpath('/html/body/div[3]/div[1]/h1/span[1]/text()')
time =s.xpath('/html/body/div[3]/div[1]/h1/span[2]/text()')
director=s.xpath('/html/body/div[3]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/div[2]/span[1]/span[2]/a/text()')
#想要一次性得到所有的编剧信息，只要将任意一个编剧的xpath中的a[1],a[2]...改为a即可
#screenwriter1 =s.xpath('/html/body/div[3]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/div[2]/span[2]/span[2]/a[1]/text()')vs
screenwriters =s.xpath('/html/body/div[3]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/div[2]/span[2]/span[2]/a/text()')
print('电影名称：',film)
print('上映时间：',time)
print('导演：',director)
#print('编剧1：',screenwriter1)
print('编剧：',screenwriters)

结果