Scrapy动态创建Item

2019-01-25  本文已影响0人  佑岷

若项目没有定义Item or 想动态生成时,可以按照如下方式操作:

item = Item()
l = ItemLoader(item=item, response=response)
item.fields[name] = Field()
l.add(name, xpath)
  1. 先声明;
  2. 创建ItemLoader;
  3. 为Item创建动态属性;
  4. 为属性赋值

通常用在一个spider跑多个不同目标网站,例如:从excel中读取爬取目标及属性。

上一篇下一篇

猜你喜欢

热点阅读