python爬虫批量获取最新电影资源
2017-09-15 本文已影响1266人
panyanyany
目标网站：http://www.dy2018.com/
这是我们要下载的最新资源在这个页面：http://www.dy2018.com/html/gndy/dyzz/index.html
image.png
前提
- 安装 python, 版本 3.5 以上
- 安装 pip （有些 python 安装包里面已经自带了）
- 然后用 pip 安装 requests，在命令行输入命令：
pip install requests - 用 pip 安装 requests_cache:
pip install requests_cache
初步尝试
好了，我们新建个脚本文件叫 t.py:
import requests
import requests_cache
requests_cache.install_cache('demo_cache') # 为 requests 建立缓存，避免每次执行都去请求一次网页，造成时间浪费
# 把我们的爬虫伪装成浏览器，否则服务器会拒绝你的请求
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}
response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk') # 由于此网页是 gb2312 编码的，需要转码成 utf8，但 python 貌似不支持 gb2312，所以用 gbk
print(html_doc)
在命令行运行一次 python t.py，我们就可以看到它输出了网页源码，第一步算是完成了。
提取列表页URL
打开刚才的网页，因为一开始会有广告，所以我们先在任意位置点击一下这个页面，让广告弹出来就可以了。
然后鼠标移向电影标题 --> 右键点击 --> 点击【检查元素】或【Inspect】（如果你的游览器没有这个功能，请下载基于 Chrome 的浏览器，如 360浏览器等）
然后我们会看到这样的界面：
image.png
红箭头所指就是本页所有电影标题都有的类名，待会我们就可以根据这个类名一次性提取出所有电影标题了，见代码：
import requests
import os
import requests_cache
from bs4 import BeautifulSoup
requests_cache.install_cache('demo_cache')
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}
response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk')
# print(html_doc)
soup = BeautifulSoup(html_doc, 'lxml')
links = []
for a in soup.select('.ulink'):
href = 'http://www.dy2018.com' + a['href']
title = a.string
links.append(href)
print(href, title)
要想正确运行这段代码，你还得先安装一些 python 库：
pip install lxml
pip install beautifulsoup4
然后再次执行 python t.py 就会看到如下输出：
http://www.dy2018.com/i/98372.html 2017年国产喜剧片《父子雄兵》HD国语中字
http://www.dy2018.com/i/98369.html 2017年国产奇幻片《鲛珠传》HD高清国语中英双字
http://www.dy2018.com/i/98364.html 2017年欧美科幻片《变形金刚5最后的骑士》HD韩版中英双字
......更多的就不列出来了
从列表页进入电影页，并提取下载链接
我们先鼠标点进电影页，然后通过检查元素（上一步有介绍），得到下载链接的元素选择器，当然这次的有点复杂，不像上一步那么直观，还需要自己推导，具体过程就不说了，直接给出结果：#Zoom table a
这一次在代码中，我们需要通过上一步获得的 links 数组分别进入每个电影页，然后拿到下载链接，部分代码如下：
for link in links:
response = requests.get(link, headers=headers)
html_doc = response.content.decode('gbk')
soup = BeautifulSoup(html_doc, 'lxml')
ftp_element = soup.select('#Zoom table a')[0] ### 注释1
download_link = ftp_element['href']
print(download_link)
time.sleep(random.randint(1, 2)) ### 注释2
注意：
注释1，由于 select() 的结果是一个数组，所以我们需要选择第一个元素
注释2，每次请求一次就让程序睡眠1~2秒，是为了不给对方服务器造成太大压力
再次执行 python t.py 就可以看到我们要的下载链接了：
ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]父子雄兵HD国语中字.mkv
ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]鲛珠传HD高清国语中英双字.mkv
ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]变形金刚5最后的骑士HD韩版中英双字.mkv
ftp://y:y@dygod18.com:15132/[电影天堂www.dy2018.com]加勒比海盗5：死无对证HD高清中英双字.rmvb
......更多的就不贴出来了
当然上面那段代码直接拿去是执行不了的，
完整代码如下：
import requests
import os
import random
import time
import requests_cache
from bs4 import BeautifulSoup
requests_cache.install_cache('demo_cache')
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}
response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk')
# print(html_doc)
soup = BeautifulSoup(html_doc, 'lxml')
links = []
for a in soup.select('.ulink'):
href = 'http://www.dy2018.com' + a['href']
title = a.string
links.append(href)
# print(href, title)
for link in links:
response = requests.get(link, headers=headers)
html_doc = response.content.decode('gbk')
soup = BeautifulSoup(html_doc, 'lxml')
ftp_element = soup.select('#Zoom table a')[0]
download_link = ftp_element['href']
print(download_link)
time.sleep(random.randint(1, 2))
