Scrapy 使用框架无法获取到数据的解决方法

在settings中 ROBOTSTXT_OBEY= True  选项中 把True 改为False