2000个Star的Github项目很牛逼？

首先，说明下，这篇文章是基于我的开源项目WebHubBot来讲的。不清楚的可以看XiyouMc/WebHubBot。

这篇文章，其实我很早都想写了。也算是对整个项目的总结，其次也是给那些问WebHubBot技术的人一个答复。

说实话，这个项目的技术很普通。普通到什么程度呢？我可以很清楚的告诉你，这个项目就用了屈指可数的几个技术点：Http协议、Html、Python、MongoDB 和 Scrapy。就这么几个技术，对于一般的程序员来讲，真心不是什么牛逼点。

那么接下来，我主要从为什么会火和具体的技术点来扯下。

1、为什么这个项目会火呢？

在我看来，它能火起来真的是运气。

如果真的要我说出个所以然，那么我觉得就因为这两点它才会火起来。

• 第一点，因为项目爬的网站是有诱惑力的。

其实，大家可以在Github上搜索下此类网站的爬虫。你会搜索到很多类似的爬虫。但是他们的Star反而都是几十个，甚至没有。

• 第二点，我有一份精简、清晰的英文文档。

其中，我很清晰的从项目简介、项目环境、启动前配置、启动方式、截图、数据库说明等的这几个方面进行简单描述。而且我觉得这些就够了。

最重要的一点，就是这篇英文文档写的很简单，都是简单词汇。

2、牛逼的技术？

其实，在这个社会，同一个行业并没有牛逼一说，反而牛逼的是不同行业的。就比如，会造飞机的就是牛逼。所以，这个项目的技术点在整个互联网的圈子并没有牛逼到哪去。

为什么这么说呢 ？

• Http协议

一套应用层的协议，官话是超文本传输协议。为什么提这个呢，是因为要去爬一个网站，你首先需要弄清楚，在什么样的请求下才能响应正常、又是怎么拿到网页数据的。这样，你才有去写爬虫请求的能力。

我这里推荐一个学习的地址：
http://www.cnblogs.com/ranyonsue/p/5984001.html

• Html页面

写爬虫不需要你有多么牛逼的前端经验。就像我，从未写过前端页面，但是前端那些标签，我几乎都能看懂。

不过对于爬虫来讲，可能Xpath语法的会重要一点。Xpath是什么呢？
Xpath是XML路径语言。它是为了确定XML文档中某部分位置的语言。众所周知，Html其中也是使用XML语言。因此，简单的来说，我们可以通过Xpath来定位到Html页面中某个控件的位置。

比如，就Baidu.com的首页来讲，我们通过Xpath来拿到 “百度一下” 按钮的位置。

那么， “百度一下” 的XPath路径将是 //input[@class="bg s_btn"] ，这个路径也就会定位到这个控件的位置。

接下来就简单了，我们可以拿到这个控件之后去做Click操作。这样的话，就用代码完成了百度一下的功能。

同样的，推荐教程附上：
http://www.w3school.com.cn/xpath/index.asp

• Python + Scrapy

Python算是爬虫中的利器了，如果你不会Python。那么其他语言同样可以实现爬虫。但是，工作量将是Python的n倍。

Python更适合做爬虫。之所以这么讲，是因为它的框架很多，开放的依赖库很多，其次就是工作效率高，Java要用100行来实现的一个小工具，Python也许只要10行。就是这么牛逼。所以，你不上手更待何时。

这里，送上我的福利，PythonDev小密圈，适合老司机更适合新手。

其次，Scrapy框架。这个框架呢，其实很难评价。因为你要是用不好的话，会出现杀鸡焉用牛刀的笑话。

Scrapy是一套及其灵活的框架。为什么说它灵活呢？

首先它的parse -> yield item -> pipeline流程已经是所有爬虫的固有模式，其中解析函数可以自己来实现，怎么处理网页自己决定。pipeline可以自己写，爬到的数据怎么处理也是自己可以决定的。

其次，就是底层操作的修改，包括代理中间件、下载中间件之类的，这些也都可以通过middleware来实现。甚至，目前已经有很多开源的中间件已经实现绝大部分的爬虫需求。

奉上Scrapy教程:
http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

最后，来简单的说一个针对新手的爬虫框架，Beautiful Soup。
这个，我也没接触过。但是，我知道它是真的很简单。首先，它不需要多少代码就可以写出一个完整的爬虫应用程序；其次，是因为我家属，做Android的司机，第一次玩BS也是非常快的就上手了。

所以，Beautiful Soup，这个框架绝对是新手必备的。

• MongoDB

持久化、非关系型数据库。多用于分布式系统。

之所以，WebHubBot会选择用MongoDB。重要的一点是Python可以直接将对象转化为JSON，并且pymongo可以直接将JSON数据插入到MongoDB，这不是很方便嘛，且减少了我来写SQL的很多时间，何乐而不为呢。

当然，MongoDB存储数据的格式不是JSON，而是一个非常类似于JSON的BSON数据。

其次，Python中使用到的是pymongo。使用pip安装下就好了。

同时MongoDB的安装方式和教程，也很简单。

教程链接：
http://www.runoob.com/mongodb/mongodb-tutorial.html

最后推荐几个MongoDB的可视化工具。
RoboMongo : https://robomongo.org/
Toad：http://www.toadworld.com/products/toad-for-oracle

第一个，Windows系统多数使用。第二，Mac多数。
Linux的大神，就用命令好了。

3、总结

项目中的技术点其实都是基础。我并没有资格说这个项目有多牛逼。在我看来，它就是基础知识堆积起来的而已。

所以，学好基础才是王道，其次要把技术玩起来。

努力成为一个有想法的全栈工程师。

长摁‘识别二维码’，一起进步

生活不止眼前的苟且，还有手下的代码、
和嘴上的扯淡
——
个人博客: http://xiyoumc.0x2048.com/
Github:https://www.github.com/xiyouMc

点击 Join，加入Python技术成长圈子，我在这里等着你。