实验报告——爬虫
2017-05-03 本文已影响0人
sherldon_zhao
实验报告
赵静 信管 2014141093041
阿里云 IP:120.24.46.77 系统用户名: root
第一步:连接服务器
第二步:激活并且进入虚拟环境
第三步:本地编写spider代码并上传
抓取html
此时文件为py文件,并且把它放入name下的spiders文件夹下面
scrapy crawl slx_quotes
find / -name slx-quotes-1.html
生成html文件
第四步:Scrapy爬取多页Json数据
本地编写Spiders文件
crapy crawl slx_quotes_spider -o zj_777777.json
生成json文件