Python 异步,协程,学起来好头疼,Python爬虫程序能调
78 技术人社群日报时间
@[toc]
Python 爬虫程序能调用 GPU 去爬东西吗?
f849c4e5b3a14e3f8cbdc3f560a540ce[1].png用不到,可能很多朋友都认为 GPU 可以挖矿,算力高,可以用 GPU 提高爬虫的速度。
但是爬虫的性能瓶颈在 IO,并不在计算,所以不需要 GPU 的,
想爬的更快,用协程+分布式就足够了。
Python 异步,协程……,学起来好头疼
371ce1926a844f69a9a2f330c4fdc4c7[1].png然后有个师兄,发到社群一个某乎答案
接下来群里就烧水问题,讨论了一个晚上,对怎么烧水进行了深入的探究。
80adfefece734c07a15c8763e760eac8[1].png在初学 Python 爬虫阶段,会碰到很多概念,并且他们相似但含义完全不同。例如 多线程,多进程,异步,协程,并发,分布式……,如果想要彻底搞懂他们,还是非常有难度的,只有一条路可以帮你彻底理解,用它们做应用,实际的使用它们。
《Python 爬虫 100 例》和 《Python 爬虫 120 例》都有相关案例的涉及,可以反复学习。
有没有牛子大的说下 matplotlib
里 plot
和 subplots
的区别
6fa1436782034298a91259ea007bd5a8[1].png
plt.plot()
是画折线图;
plt.subplot()
生成一个子图。
一个是开始画了,一个是先拿出来一张纸,打上线,分隔区域。
有没有讲 pandas 的 groupby & 学 pandas 真的能找到工作吗
844513133d724384bea2eff99116aae4[1].png第一个问题,pandas 中的 groupby 相关用法,可以看 《周一不睡觉,也要把 pandas groupy 肝完,你该这么学,No.8》
第二个问题问的好,学 pandas 确实不好找工作,而且也没听说过就会 pandas 就能出去工作的人,毕竟它只是 Python 语言下的一个第三方库。
我现在学到字体反爬,下面要学 js 逆向了,还来的及吗?
任何时候都来得及,没有那么复杂的知识,当下开始就好啦。
51b3a867d8d54a5ca80a40da82c06c3b[1].png
python 基础知识,函数里面的 return
Python 初学阶段的一点点小基础知识,社群也是有人回答的呀。
142f8f27323547558d21370b2e217ec1[1].png
请问可以多线程和异步协程一起使用吗?
我直接好家伙,你这是打算不给目标站点留下活路呀,题干中的方案肯定可以用,但是一般可没人这么干,毕竟不可控因素有点多。
5e6bc5f8e2c440df8a9ee90e28169cfc[1].png
群外包需求
访问 APP 网站(不是一个),怎样做到不被对方日志记录,需求简单有效方案,付 3~5 千费用。
acb7bd16ee824daca121f677e9d7c59f[1].png不被记录?其实这个需求不明确。
如果对方站点是需要登录之后,才可以获取数据,100% 会被记录住;
如果对方站点有访问日志,爬虫就是在模拟客户端请求,也是会被记录的;
当然还有另一种解释,就是采集站点但是隐藏自己身份,例如请求客户端数据,隐藏真实 IP,这些手段还是可以操作一下的。