爬取unsplash图片

作为今天的一个小练习，爬取了这个网站的一些图片，这个网站的图片都是动态加载（往下拉，又会加载出图片），没有用requests爬过动态的网站，因为我一直找不出他们的规律，这个网站也是在试了很久之后，network抓包，发现在XHR里边发现了一个情况，就是下拉的时候，每到一个地方会触发一个请求，

通过观察，大概可以总结出来一个规律，请求的url中变化的就是page部分，猜测应该是从0开始变化的，per_page通过观察是用来控制一次返回的是多少张图片的，一次12张。看每个url给我们返回的东西，是一个json格式的。 这时可以发现，下载的url也就是中间红框的那个地方是变化的，也就是图片的id。那么想要下载图片，就得得到图片的id，有了这个思路，就可继续分析，刚在也发现了，加载图片页面的url：https://unsplash.com/napi/photospage=3&per_page=12&order_by=latest每次触发，变化的只是page=后边的数字，那么就可以通过for循环构造下拉到底时触发的请求的url来获取图片的id。我是这么构造的：

urls = []
    for i in range(10):
        url = 'https://unsplash.com/napi/photos?page='+str(i)+'&per_page=12&order_by=latest'#构造url动态的
        urls.append(url)

我把它放在了一个列表里边，然后我再遍历url列表发起请求，得到json文件，然后通json.loads将json文件转为字典去取得图片的id。

ids = []
def getHtml(url):
    headers = {
        'User-Agent': 'Mozilla/5.0'
    }
    try:
        r = requests.get(url,headers =headers) # , verify=False
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        print('爬取失败')
        return ''

def getId(html):  #获取图片的id
    jd = json.loads(html) #转为字典
    for j in jd:
        ids.append(j['id'])  #得到图片的id并放入到列表里边
def main():
   for url in urls:
        html = getHtml(url)
        getId(html)

在取到图片的id之后，就可以通过id去构造获得图片的url：https://unsplash.com/photos/-iFhGZP_mhk/download
photos/这部分是id/download，那就可以构造出图片的url了

    img_urls = []
    for id in ids:
        ul = 'https://unsplash.com/photos/'+id+'/download' #构造下载图片的url
        img_urls.append(ul)

构造的部分url
['https://unsplash.com/photos/DaQmfmkA20w/download ', 'https://unsplash.com/photos/_SBsVi4kmkY/download ', 'https://unsplash.com/photos/4uYv2fEZ5PU/download ', 'https://unsplash.com/photos/4JnHWc2tuFE/download ' ]
然后就可以通过构造的url去发起请求下载图片了，最后保存到imges文件夹下。

可能是由于网速的限制，太慢了，只保存了几张。

完整代码：

import requests
import json

ids = [] #设置成全局是因为我想存我取到的所有id
i = 0
def getHtml(url):
    headers = {
        'User-Agent': 'Mozilla/5.0'
    }
    try:
        r = requests.get(url,headers =headers) # , verify=False
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        print('爬取失败')
        return ''

def getId(html):
    jd = json.loads(html)
    for j in jd:
        ids.append(j['id'])

def getImg(url):
    global i
    for u in url:
        r = requests.get(u)#,verify=False,stream=True
        f = open('imges/'+ids[i]+'.jpg','ab')
        f.write(r.content)
        print('保存第{}张图片成功'.format(i+1))
        i += 1
    print('全部图片保存完成，共{}张图片'.format(i+1))

def main():
    urls = []
    img_urls = []
    for i in range(10):
        url = 'https://unsplash.com/napi/photos?page='+str(i)+'&per_page=12&order_by=latest'#构造url动态的
        urls.append(url)
    for url in urls:
        html = getHtml(url)
        getId(html)
    for id in ids:
        ul = 'https://unsplash.com/photos/'+id+'/download' #构造下载图片的url
        img_urls.append(ul)
    print(img_urls)
    getImg(img_urls)
main()

问题：

1、下载的速度太慢，不知道为什么。
2、保存的图片有下载失败的，可能是受网速的影响，直接在浏览器访问也特别慢