用scrapy抓取数据 实验报告

刘璨 2014年信息管理与信息系统  2014141093017

前言说明：

由于本人代码水平较弱，作业参考和询问了其他同学，若有不足的地方，请老师谅解。

实验报告正文

我们小组经过商量之后决定使用阿里云。

   用ssh连接云服务器

成功连接

进入虚拟坏境目录并激活

激活

相关文件配置，生成项目树结构，创建我的空间（lc_quote）

创建 在本地编写spider代码 这里我采用的是记事本 保持成py格式 加入py文件 执行文件 执行的结果 

上面显示的代码有误但还是形成了html文件

在目录中生成的html文件 形成的html文件

爬取json数据

本地编写spider文件 还是保持成py文件

（中间一段过程的截图忘记保持）步骤同上，将py文件拖到spiders文件夹下

执行scrapy crawl lc_quotes_spider -o slx_26666.json（26666是随意输入的）

最终形成的json文件