scrapy 使用中间件

处理js渲染的内容

图片.png

参考 【爬虫进阶-JS自动渲染】Scrapy_splash组件的使用
https://blog.csdn.net/qq_46092061/article/details/119957841

scrapy结合webkit抓取js生成的页面

更换请求头

图片.png