scrapy meta传递值得问题

2018-06-24  本文已影响0人  胖腚猴

meta传递值,有时候当前爬虫解析出来的数据需要重复抓取,获取到到得值有时需要传递给下一个函数
但是 items= response.meta['item'] 接收的时候一直是同样的值
解决:
在yield的时候,meta参数的值做深度拷贝就可以了

import copy
yield scrapy.Request(detail_url,callback=self.next_page,meta={'item': copy.deepcopy(beitem)})

上一篇 下一篇

猜你喜欢

热点阅读