Scrapy豆瓣爬虫
scrapy安装以及简单使用
-
1.进入终端，输入命令
pip install scrapy安装模块。安装成功后，新建一个项目，输入命令scrapy startproject douban,这样就能看到一个douban文件夹，目录结构如下：
介绍下各个文件的作用
scrapy.cfg:项目的配置文件
douban/items.py:项目的items文件
douban/pipelines.py:项目的pipelines文件
douban/settings.py:项目的设置文件
douban/spiders/:存储爬虫的目录
明确在Item中需要爬取的数据
-
1.抓取豆瓣电影的片名(movie_name)、导演(movie_director)、编剧(movie_writer)、演员(movie_actor)、上映日期(movie_date)、片长(movie_long)、电影描述(movie_description)。在scrapy中，Item是用来加载抓取内容的容器，类似于python中的字典。比如movie_name就像字典中的键，爬取到的数据就是字典中的值。
制作爬虫
-
2.1 制作爬虫分成两步:先爬后取，首先获取网页的所有内容，然后取出对我们有用的部分。下面写一只爬虫，命名为DoubanSpider.py保存在douban\spiders目录下，代码如下:
name是唯一的命名，运行scrapy crawl douban这里的douban就是这个name,allow_domains是搜索的域名范围，这里的start_urls为空，在后面的函数会进行填充。 -
2.2 很多情况下我们是直接在
start_urls中存入的页面url,但是这里我们爬取的链接有很多而且是有规律的。那么解释下start_requests这个方法是干什么的:
def start_requests(self):
for url in self.start_urls:
yield self.make_requests_from_url(url) #可见是从start_urls中读取链接，使用make_requests_from_url生产Request
可见`start_requests` 是系统默认调用的，我们可以重写这个函数，根据需求定制自己的start_urls。豆瓣电影的url是`http://movie.douban.com/subject_search?search_text=` +`电影名`。这里定制了请求头，不加请求头发现访问404错误
-
2.3 parse函数，上面执行了请求，回调函数即为parser。scrapy帮助我们处理Request请求，会获得请求的url网站的响应response,我们重写parser函数:
在这个函数中我们获得电影的url链接，使用的是xpath方法，同样也可以使用css方法，语法可以查询http://www.w3school.com这个网站。获得url后继续发送Request请求，回调函数是自定义的parse_movie函数。 -
2.4 在回调函数parse_movie中我们真正抓取我们要的数据，这里进入的就是电影的具体界面，使用的仍然是xpath方法。作为一只爬虫，Spider希望将其抓取的数据存放到Item zhong ,这里定义了前面的DoubanItem对象，把爬取到的内容存入到该对象中。
运行命令scrapy crawl douban就能在终端看到打印出的数据
存储内容
-
1.保存信息有4种方式:json,json lines,csv,xml。假如这里用json导出，命令如下:
scrapy crawl douban -o items.json -t json
-o后面是导出文件名，-t后面是导出类型
- 2.当Item在Spider中被收集之后，将会被传递到Item Pipeline,一些组件会按照一定的顺序执行对Item处理。我们要编写自己的item pipeline,每个item pipeline都是个独立的python类，必须实现process_item(self, item, spider)方法。
* item(Item对象) － 被爬取的item
* spider(Spider对象) －爬取该item的spider
将所有的item存储到items.json文件中，每行包含一个序列化为json格式的item,且参数ensure_ascii=False解决了json格式的中文编码问题。
- 3.启动一个Item Pipeline 组件，你必须将它的类添加到 ITEM_PIPELINES 配置，修改settings.py配置文件，加入如下,:
按照工程名.pipelines.自定义pipeline组建类名格式编写，后面的数字通常定义在0－1000之间。
- 4.至此整个豆瓣爬虫制作完成，在终端进入目录运行`scrapy crawl douban` ，items.json文件中就保持了我们抓取到的item。内容如下，想要多抓的话在电影文本里多加几个电影名：
