scrapy pipeline解决异步插入的问题

2022-09-22 本文已影响0人 sexy_cyber

scrapy pipeline 数据插入数据的操作是同步的，以前是要么就是默认同步插入，要么就是用python的多线程解决，没想到还能用twisted来实现异步插入。https://juejin.cn/post/7021024993500725256