python学习—week12

2019-03-04  本文已影响0人  大脸飞

week11总结:

1.给代理池增加了一个很简单的验证代理地址有效性的功能,把地址一个一个读出来,失效的删掉,然后删的只剩下两条了……结论:免费代理真不靠谱

2.利用代理地址对一个网站进行了爬取,整体设计是取出代理,失效的话更换地址,有效的话进行爬取,数据存储到mongoDB,每爬取一页换一个代理地址。

3.犯了一个很经典的错误:

刚开始except里只是调用了函数本身,没有return,这样就造成try可以正常返回值,但是一旦进入except,再调用函数本身得到的返回值后没有接收,因此得到的返回值是None。

week12任务:

学习手机app的爬取

上一篇下一篇

猜你喜欢

热点阅读