还在付费抓取数据，你out了！

image

经常在我的微信群或知识星球里面听到小伙伴问，涛哥，微信公众号文章怎么抓取啊？有没有什么现成的工具啊？这个时候我一般介绍一点儿抓公众号的思路，介绍抓取的常用的Python工具库，让小伙伴自己操作。

因为我知道的现成工具都是直接找第三方付费工具进行处理，当然代价就是需要花费几百元。

所以在我心里一直知道这个事情没有被很好的解决，直到最近发现的一个爬虫抓取工具。

这个工具叫 weixin_crawler，目前项目在github上面有1900+ 关注

image

项目地址 https://github.com/wonderfulsuccess/weixin_crawler

weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等实现的微信公众号文章爬虫，自带分析报告(报告样例)和全文检索功能，几百万的文档都能瞬间搜索。

image

从作者使用的工具技术我们能看到这是一个起点很高的项目，无论是前端技术还是后端技术，都是目前较为流行实用的。那些找不到项目进行练手的，可以考虑把里面的DB存储从Mongodb非关系型数据库改为MySQL。

希望对大家有帮助。

最后放上一张效果图：

image image.png