每天爬取数据量多少,如何才可更高效?

每天爬取数据量多少,如何才可更高效?

问题分析

对于该问题,没有确切答案,需要根据实际情况而定.爬虫最重要的问题是容错率高,很多特殊情况都会影响爬虫的效率和质量.

常见特殊情况

以下情况都可能影响爬取数据效率.
软件条件

• 网页报错
• 动态验证码
• IP次数限制
• 时间限制

硬件条件

• 服务器配置(CPU,内存,带宽)
• 网速

常见案例

1

• 包含问题: 网页报错,连接错误,手输验证码
• 成功率: 80%
• 设备数: 一台机器
• 爬内容: 段子
• 数据量: 不用分布式爬虫 1天10W

2

• 包含问题: 去重,请求失败,2级页面爬取
• 成功率: 80%
• 设备数: 一台机器
• 爬内容: 列表+详情页
• 数据量: 使用分布式爬虫 1天15W

3

• 包含问题: IP并发次数限制,访问次数限制
• 成功率: 70%
• 设备数: 一台机器
• 爬内容: 新闻+图片
• 数据量: 不使用分布式爬虫 1天50W

4

软硬件好的情况下,数据量可高达1300W.
详情见

如何才能高效?

如果真的对性能要求很高，可以考虑下面方案.
多线程 : 一些成熟的框架如 Scrapy都已支持
分布式 : 数据量有TB级别可要考虑,否则别用,分布式需要考虑到机器,人员,网络等成本.