IT 全栈开发

scrapy 中间件 下载图片

2017-11-27  本文已影响7人  醋留香

用scrapy 框架爬去爬虫的时候,通过图片管道来下载图片的时候,

如果你的setting.py 文件中设置了请求头 headers, 一定要记得,请求头headers中

不能有HOST域名出现,否则,图片下载不成功

如果图片管道pipelines Image  和  中间件 middleware 一块使用了

千万要记住, 控制中间件只能加载一次,否则,图片也是下载保存不成功的

上一篇 下一篇

猜你喜欢

热点阅读