分布式存储

分布式的存储包括网页文件的存储和爬虫队列的存储，在前面分享的分布式爬虫笔记（二）- 多线程&多进程爬虫实现多线程爬虫使用deque来存储URL信息，实现多线程爬虫使用mysql来存储URL信息。

• 文件使用HBASE（条件限制本次没有使用到这个：待测试）
• 缓存已爬取的URL使用redis（优点：直接在内存中处理，速度快）
• url相关信息存入momgo（有点：结构是文档式的，拓展性超强）

代码下载

多进程爬虫 - mongo ：与mysql的多进程类似，只是换了一个数据库
多进程爬虫 - mongo+redis

对比分析

多线程

多线程.jpg

多线程 + 多进程

多线程　＋多进程 .jpg

多线程 + 多进程（改进）

架构	获取URL（避免多个进程获取同一个URL获取）	去重
Deque Spider threading BloomFilter	通过Deque双向队列的pop获取	BloomFilter
Mysql Spider threading Spider process	通过Mysql的status字段加行级锁	通过Mysql UNIQUE KEY唯一
Mongo Spider threading Spider process redis	Mongo的锁	redis

多线程 +多进程（改进）.jpg

架构	获取URL（避免多个进程获取同一个URL获取）	去重
Deque Spider threading BloomFilter	通过Deque双向队列的pop获取	BloomFilter
Mysql Spider threading Spider process	通过Mysql的status字段加行级锁	通过Mysql UNIQUE KEY唯一
Mongo Spider threading Spider process redis	Mongo的锁	redis

后记

基本上都是类似的内容，换汤不换药，但是从性能和效率方面会有很大的提高，数据存储使用mongo方面爬虫数据方面存储的扩展，高效的redis内存级别的速度，能提高判断效率加快爬取进度。

以上都是我的个人观点，如果有不同的看法，或者有更好的方法，欢迎留言~~~