进一步提高scrapy爬虫爬取速度
2017-11-30 本文已影响26人
NiceBlueChai
可通过配置并发连接选项对spider速度进行优化
settings.py
| 选项 | 说明 |
|---|---|
| CONCURRENT_REQUESTS | Downloader最大并发请求下载数量，默认32 |
| CONCURRENT_ITEMS | Item Pipeline最大并发ITEM处理数量，默认100 |
| CONCURRENT_REQUESTS_PER_DOMAIN | 每个目标域名最大的并发请求数量，默认8 |
| CONCURRENT_REQUESTS_PER_IP | 每个目标IP最大的并发请求数量，默认0，非0有效 |
