scrapy了解一下？scrapy-redis和scrapy有什

分布式爬虫 (๑• . •๑)

去重简单

爬虫中去重是一件大事，使用了scrapy-redis后就很简单了。上面提到过使用redis的set类型就可以很容易达到这个目标了，即REDIS_START_URLS_AS_SET = True。

Usage

这个其实不算做问题，只是官方文档上我觉得的小BUG，在这里 Usage

看不懂为什么要把数据储存在redis里面，这不又加大redis储存负担吗？对于新手来说真的不友好，或许可以考虑提一个pr。

redis可视化工具

最后介绍两个redis可视化工具

RedisDesktopManager 比较出名的工具，但是经常会崩溃

kedis 国人开发的免费工具，这个界面还是可以的

转载于：崔斯特

欢迎大家关注我的博客：https://home.cnblogs.com/u/Python1234/

欢迎加入千人交流互问答疑群：125240963