Python爬虫之爬虫利器集合

1，requests库

pip install requests

http://docs.python-requests.org/en/master/

2,Beautiful Soup库

pip install beautifulsoup4

http://beautifulsoup.readthedocs.io/zh_CN/latest/

3,lxml库

pip install lxml

http://lxml.de/index.html

4,phantomJs

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。

http://phantomjs.org/

http://phantomjs.org/quick-start.html

5,Selenium

selenium,是一个自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。

PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理，完美的三剑客.

http://selenium-python.readthedocs.io/index.html

pip install selenium

6.pyquery

pip install pyquery

https://pythonhosted.org/pyquery/

pyquery 可让你用 jQuery 的语法来对 xml 进行操作。