python爬虫代理

一 爬虫为什么要设置代理？

写爬虫，大家都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个：

• 1 同一IP，放慢速度(爬取速度慢)
• 2 使用代理IP访问(推荐)

第一种方案牺牲的就是时间和速度，那肯定是我们所不能忍受的。所以第二种方案是推荐的，那么从哪里能找到这么多代理IP呢？今天无意中发现了一个网站国内高匿代理IP，经测试，发现可用性蛮高的。

二 爬取代码

我用的requests和Beautifulsoup爬的，最后写入文本文件。代码如下：

import requests
import os
from bs4 import BeautifulSoup
os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')
headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'http://www.xicidaili.com/nn/1'
s = requests.get(url,headers = headers)
soup = BeautifulSoup(s.text,'lxml')
ips = soup.select('#ip_list tr')
fp = open('host.txt','w')
for i in ips:
    try:
        ipp = i.select('td')
        ip = ipp[1].text
        host = ipp[2].text
        fp.write(ip)
        fp.write('\t')
        fp.write(host)
        fp.write('\n')
    except Exception as e :
        print ('no ip !')
fp.close()

最后类似这种

QQ截图20170228180121.png

三 代理检验

有很多ip是不可用的，我们可以检验下，代码如下：

import requests
import os
from bs4 import BeautifulSoup
os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')
# headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'https://www.baidu.com'
fp = open('host.txt','r')
ips = fp.readlines()
proxys = list()
for p in ips:
    ip =p.strip('\n').split('\t')
    proxy = 'http:\\' +  ip[0] + ':' + ip[1]
    proxies = {'proxy':proxy}
    proxys.append(proxies)
for pro in proxys:
    try :
        s = requests.get(url,proxies = pro)
        print (s)
    except Exception as e:
        print (e)

结果如下：

QQ截图20170228180922.png

从结果看，可用的还是蛮多的。

爬虫代理上手

养兵千日用兵一时，有了代理以后，终于可以派上用场了，我把代理加到了我的爬虫中，代码如下：

def get_detail(cols,book,sheet,proxys):
    index = 1
    headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
    for url in cols:
        print (url)
        print (random.choice(proxys))
        try:
            s = requests.get(url,headers = headers,proxies=random.choice(proxys))
           
            soup = BeautifulSoup(s.text,'lxml')
            details = soup.select('.con-txt > li')
            person = details[0].text.split('：')[1]
            phone = details[1].text.split('：')[1]
            name = details[2].text.split('：')[1]
            address = details[5].text.split('：')[1]
            write_excel(book,sheet,index,name,address,person,phone)
            index = index + 1
            print ('查询成功！')
        except Exception as e:
            print ('爬取网页失败！')
    book.save('./2.xls')

之前爬取时因爬取速度过快被拒的情况，现在不会发生了

QQ截图20170301094452.png

五 总结

以后爬虫的时候，遇到服务器限制访问次数的时候，就可以使用代理了，先从类似国内高匿代理IP等网站爬取最新的代理ip，保存到本地，当然要进行检验，把无效的ip删掉，我们就可以在我们的代码中使用代理了。