Python 异步,协程,学起来好头疼,Python爬虫程序能调

2022-01-09  本文已影响0人  梦想橡皮擦

78 技术人社群日报时间

@[toc]

Python 爬虫程序能调用 GPU 去爬东西吗?

f849c4e5b3a14e3f8cbdc3f560a540ce[1].png

用不到,可能很多朋友都认为 GPU 可以挖矿,算力高,可以用 GPU 提高爬虫的速度。
但是爬虫的性能瓶颈在 IO,并不在计算,所以不需要 GPU 的,
想爬的更快,用协程+分布式就足够了。

Python 异步,协程……,学起来好头疼

然后有个师兄,发到社群一个某乎答案

371ce1926a844f69a9a2f330c4fdc4c7[1].png

接下来群里就烧水问题,讨论了一个晚上,对怎么烧水进行了深入的探究。

80adfefece734c07a15c8763e760eac8[1].png

在初学 Python 爬虫阶段,会碰到很多概念,并且他们相似但含义完全不同。例如 多线程,多进程,异步,协程,并发,分布式……,如果想要彻底搞懂他们,还是非常有难度的,只有一条路可以帮你彻底理解,用它们做应用,实际的使用它们。

《Python 爬虫 100 例》《Python 爬虫 120 例》都有相关案例的涉及,可以反复学习。

有没有牛子大的说下 matplotlibplotsubplots 的区别

6fa1436782034298a91259ea007bd5a8[1].png

plt.plot() 是画折线图;
plt.subplot() 生成一个子图。

一个是开始画了,一个是先拿出来一张纸,打上线,分隔区域。

有没有讲 pandas 的 groupby & 学 pandas 真的能找到工作吗

844513133d724384bea2eff99116aae4[1].png

第一个问题,pandas 中的 groupby 相关用法,可以看 《周一不睡觉,也要把 pandas groupy 肝完,你该这么学,No.8》

第二个问题问的好,学 pandas 确实不好找工作,而且也没听说过就会 pandas 就能出去工作的人,毕竟它只是 Python 语言下的一个第三方库。

我现在学到字体反爬,下面要学 js 逆向了,还来的及吗?

任何时候都来得及,没有那么复杂的知识,当下开始就好啦。


51b3a867d8d54a5ca80a40da82c06c3b[1].png

python 基础知识,函数里面的 return

Python 初学阶段的一点点小基础知识,社群也是有人回答的呀。


142f8f27323547558d21370b2e217ec1[1].png

请问可以多线程和异步协程一起使用吗?

我直接好家伙,你这是打算不给目标站点留下活路呀,题干中的方案肯定可以用,但是一般可没人这么干,毕竟不可控因素有点多。


5e6bc5f8e2c440df8a9ee90e28169cfc[1].png

群外包需求

访问 APP 网站(不是一个),怎样做到不被对方日志记录,需求简单有效方案,付 3~5 千费用。

acb7bd16ee824daca121f677e9d7c59f[1].png

不被记录?其实这个需求不明确。
如果对方站点是需要登录之后,才可以获取数据,100% 会被记录住;
如果对方站点有访问日志,爬虫就是在模拟客户端请求,也是会被记录的;
当然还有另一种解释,就是采集站点但是隐藏自己身份,例如请求客户端数据,隐藏真实 IP,这些手段还是可以操作一下的。

上一篇下一篇

猜你喜欢

热点阅读