windows 下利用scrapy框架创建爬虫
2019-11-26 本文已影响0人
敏儿敏儿
1.在pycharm中安装scrapy
具体信息见大神编写的详情Pycharm中的scrapy安装教程--xiaoli2018-博客园
防止原文找不到，也便于自己平时查看学习，原文粘贴如下：
image.png
image.png
点击图中右上角的'+'按钮，进入下面的窗口，查询要安装的包，进行安装
image.png
image.png
做一下说明：在我按照教程安装的时候，发现不需要安装"liblxlm2dom"，因为我压根搜不到。。。在另外一个安装教程中显示，不需要安装这个包，我没有安装这个包，最后发现也是可以用的，大概是软件升级了？（我用的是python3.7,pycharm2018.2.4.x64）
image.png
image.png
image.png
image.png
2.创建scrapy项目
1> 打开想要创建爬虫项目的磁盘，操作如下
image.png
2> 在命令窗口中输入命令行：
scrapy startproject MyFirstSpider
MyFirstSpider为我自己为爬虫项目取的名字，这个项目名是自定义的，根据自己的需要随便取啥名儿都可以。操作后，界面如下：
image.png
3> 再输入cd MyFirstSpider命令，进入新建的爬虫项目中，操作后界面如下：
image.png
4> 输入scrapy genspider baidu_news new.baidu.com创建爬虫文件，格式为scrapy genspider [爬虫文件名] [爬取内容的区域]
image.png
5> 打开pycharm，找到新建的这个爬虫项目，然后打开对应爬虫文件，进行爬虫文件的内容编写。
image.png
image.png
感谢网上的各路大神的分享，我学会了编写爬虫的第一步--创建爬虫项目和爬虫文件，接下来的路道阻且长，希望能坚持学习，早日学会并应用爬虫，哈哈哈哈~~
