[PySpider]任务阻塞Active状态解决

• 1.查看 fetcher 日志，看看它在干嘛
• 2.一般是fetcher在堆积了很多任务后开始出错，timeout，程序调试时出错的网址可以正常运行的，最后发现多开几个fetcher和processor就没问题了

如果机器没问题，多开一些 fetcher和processor

for i in `seq 1 5`; do
    supervise -p "var/run/status/pyspider_pr_${i}/" -f "bin/pyspider -c boot_conf/config.json processor"
done

for i in `seq 1 50`; do
    supervise -p "var/run/status/pyspider_fetch_${i}/" -f "bin/pyspider -c boot_conf/config.json fetcher"
done

参考:https://segmentfault.com/q/1010000009088512