Scrapy踩坑：请求无响应，requests正常

问题说明：
Scrapy运行不报错，callback回调函数没响应

问题原因：
请求的 header请求头 错误

解决方法：

1、先在 middlewares 的 process_response 中打印状态码，若404等则不会进入到 callback回调函数，回调函数捕获不到异常信息

def process_response(self, request, response, spider):
    print(response.status)
    return response

2、检查代理是否异常（禁用代理）

'DOWNLOADER_MIDDLEWARES': {
            # 'zt_video_crawl.middlewares.ProxyMiddleware': 546,
}