将抓取数据解析进行结构化:

基础方法:  

spider:  获取网页页面response 》 选择器提取内容  》 对内容进行处理 》传递给item字段

使用加载机制:

spider:

spider：获取网页页面response 》 加载器提取内容（使用选择器）  》 传递给item处理

item：定义item对象的同时并配置内容处理函数 》处理1 》处理2》最终赋值

加载器数据提取方法：

spider:

from scrapy.loader import ItemLoader #导入模块，基本用法，实际使用自定义复写

item_loader= ItemLoader(item=XxxItem(),response=response)#实例化，传入item实例对象，response对象)

#三个核心函数,参数item字段名，选择器方法或其他值，生成一个列表对象
item_loader.add_css("title",".entry h1::text")

item_loader.add_xpath("title",'//div/a[id="555"]/text()')

item_loader.add_value("url", response.url)

my_item = item_loader.laod_item()

yield my_item 

item：

item 的字段对象有两个参数：

input_processor = MapCompose()# 表示对传递给item字段的值做一个预处理,使用内置的MapCompose，按函数顺序对传递进来的列表的每个值进行处理（可使用匿名函数）

output_processor = TakeFirst() #对预处理玩的值进行输出到item容器，使用内置函数：获取列表的第一个值

重载 itemload方法：来配置默认获取列表第一个值，定义一空函数来替换默认配置

from scrapy.loader.processors import MapCompose ,TakeFirst

from scrapy.loader import ItemLoader 

def func1(value):

return value

def ret(value)

returnvalue

class MyItemLoaderl(ItemLoaderL):

default_output_processor =  TakeFirst()

class CrawlItem(scrapy.Item):

title = scrapy.Field(

input_processor=Mapcomppose( func1, func2)

output_processor =  ret()  #重载自定义loaderItem的默认方法，获取原始列表

)