在 grapy 上使用 AioPool

2021-09-24  本文已影响0人  Lupino

grapy 使用的是自己写的队列系统,不够完善在任务执行完后进程不会自己结束,
并且逻辑有些麻烦。
我们使用 AioPool 替换队列的模式,是的代码变得简单起来,可读性更强。
使用 AioPool.spawn_n 对任务进行异步执行,通过 AioPool.join 来确定任务全部被执行完。
当任务执行完,AioPool.join 就结束退出, 于是 grapy 可以正常退出。

这样子看起来更像是一个爬虫。

上一篇 下一篇

猜你喜欢

热点阅读