python爬虫的最佳实践(六)--爬虫中的多进程

ps：写给新手看的，大神看到了轻喷，给我留点面子~

写在前面

为什么选用多进程而不选用多线程，这是考虑到了诸多的实际情况最终做出的选择。

• 在python环境下，多进程稍稍比多线程好实现好理解一点。
• 因为爬虫大多数都是运行在linux内核的服务器上面，而在linux操作系统下，多进程要比多线程更加合适，因为调度开销和多线程差不多，但是进程性能更好。如果在windows系统下跑爬虫的话，建议使用框架或者使用多线程。
• 爬虫毕竟不是服务器交互，没有人会开1k的线程去跑这个，所以一般情况下我们把自己爬虫的效率提升几倍即可。

有兴趣的同学可以去看一下进程和线程的区别，据说面试容易被问喔_{我们今天就讲一下简单的多进程的实现就好了，如果你想深入爬虫效率研究可以好好研究一下多进程和多线程相关}

代码预览

#coding:utf-8
import multiprocessing
from bs4 import BeautifulSoup
import requests

def pageUrls(url):
    web_data = requests.get(url)
    soup = BeautifulSoup(web_data.text, 'lxml')
    sum = int(soup.select('span.total > em:nth-of-type(1)')[0].get_text())
    pageNum = sum/50
    return [url+'/loupan/s?p={}'.format(str(i)) for i in range(1, pageNum+2, 1)]

def detailPage(myurl):
    urls = pageUrls(myurl)
    for url in urls:
        web_data = requests.get(url)
        soup = BeautifulSoup(web_data.text, 'lxml')
        titles = soup.select('div.list-results > div.key-list > div > div.infos > div > h3 > a')
        for title in titles:
            print url
            print title.get_text()
            print title.get('href')

def main(urls):
    pool = multiprocessing.Pool(multiprocessing.cpu_count())
    for url in urls:
        pool.apply_async(detailPage, (url, ))
    # pool.map(detailPage, urls)
    pool.close()
    pool.join()


if __name__ == "__main__":
    startUrl = 'http://tj.fang.anjuke.com/?from=navigation'
    web_data = requests.get(startUrl)
    soup = BeautifulSoup(web_data.text, 'lxml')
    urls = [url.get('href') for url in soup.select('.city-mod > dl > dd > a')]
    main(urls)

代码剖析

if __name__ == "__main__":
    startUrl = 'http://tj.fang.anjuke.com/?from=navigation'
    web_data = requests.get(startUrl)
    soup = BeautifulSoup(web_data.text, 'lxml')
    urls = [url.get('href') for url in soup.select('.city-mod > dl > dd > a')]
    main(urls)

在这里讲一个小知识点，if __name__ == "__main__":这段代码的作用是保证在这个py文件被import的时候不会被运行，只有主动执行它的时候才会运行。
这次我们扒取的是安居客的住房信息，上面那一段代码相信大家都能看懂，从入口进入，取到全国各地城市的链接，然后进入main函数

pool = multiprocessing.Pool(multiprocessing.cpu_count())
multiprocessing是python中标准的多进程库，上面代码的意思是创建一个进程池，进程个数为cpu内核数。这里有个小知识，电脑的cpu有多少内核便可以同时执行多少个进程，当然你也可以填的很多，只是作用不大而已，并不是进程数越多就会执行的越快。

pool.apply_async(detailPage, (url, ))
apply_async函数从进程池中取出一个进程执行func，args为func的参数，我们这段代码不断地从进程池中取出进程去执行我们的detailPage方法。当然，也可以采用下面哪种方式：
pool.map(detailPage, urls)
map方法，将detailPage()函数作用到表的每个元素上，表中每个元素都会被作用到。这两种方式都可以~

pool.close()关闭进程池，进程池不会再创建新的进程
pool.join()wait进程池中的全部进程,也就是用来等待进程池中的worker进程执行完毕，防止主进程在worker进程结束前结束

这样，对于我的电脑来说等于开了8个进程去并行爬虫（没做反扒一会就会被封了哈哈_{），经过我测试速度比单个进程快了4倍左右，还是很有用的}~

剩下的两个函数我就不多赘述了pageUrls，根据页面上数据量的多少生成page分页的url，detailPage扒取每个page分页的所有楼盘的标题信息。

今天我们介绍了多进程，同时，实践了如何从网站的一个入口延伸进而抓取整个网站的内容。当然，每个人写代码的习惯不同，当你多多练习的时候自然有自己的方式去实现你想要的功能。

ps：今天突然想起来，大家在做爬虫的时候尽量先扒到链接，存在数据库之后再去扒分页里面的详细内容，因为这样速度不慢而且容错率很高，也很容易做断点续扒~

写在最后

经过前面几章的学习，我相信你已经可以扒取大部分网站了，并且有不错的效率。下一章我们将学习py爬虫的框架pyspider_{我觉得还是很好用的}

有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正，直接说就行，不用留面子，博主脸皮厚！