爬虫必备

ide

pycharm，有自动提示功能，安装比较简单，先安装python，再安装pycharm就ok。

爬虫依赖库

• beautifulsoup 处理抓下来的数据
• urllib、urllib2、requests 网络请求
• xpath 可用来在 XML 文档中对元素和属性进行遍历

安装命令

sudo pip install BeautifulSoup4
sudo pip install requests
sudo pip install lxml

持续更新中

参考

http://www.jianshu.com/p/d99f6fd8b209