pyspider

安装

pip install pyspider

安装出错:
src/pycurl.h:164:13: fatal error: openssl/ssl.h: 没有那个文件或目录
# include <openssl/ssl.h>
^~~~~~~~~~~~~~~
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

 sudo apt-get install openssl
 sudo apt-get install libssl-dev
 pip install pyspider

安装成功后执行

pyspider all

在浏览器访问
http://0.0.0.0:5000/
可看到如下界面,点击Create

2018-07-16 17-42-38屏幕截图.png

输入自己取的name和开始抓取的url,点击Create

2018-07-16 17-42-56屏幕截图.png

进入项目后,右侧写代码保存,返回首页点击run

2018-07-16 17-44-40屏幕截图.png
在result里可看到抓取的结果
2018-07-16 17-45-07屏幕截图.png