scrapy常用配置项

2018-08-22  本文已影响10人  疏花
  1. HTTPERROR_ALLOWED_CODES
    默认: []
    允许该列表中所有非200状态码的response，也可以在spider中配置handle_httpstatus_list = [400, 500...]
    使用场景：捕获异常状态码并做相应处理。
上一篇下一篇

猜你喜欢

热点阅读