程序员

什么是网络爬虫,每天都在忙乎什么?(上篇)

2018-10-16  本文已影响0人  张叔叔讲互联网

先自我介绍一下,我是一只网络爬虫,出生在计算机中,操作系统就是我的爸爸妈妈,现在都活了2000毫秒了,这个放到我们生活的世界来说,已经属于比较长寿了。我出生之后就被安排到工作岗位上去了,我每天的工作就是在计算机网络上面到处跑,就像蜘蛛每天在蜘蛛网上来回觅食一样,大家给我起了一个外号叫做网络爬虫,但是我长得可比蜘蛛好看多了!

那我每天在网络上具体做什么呢?这个真是小孩没娘-说来话长了。首先要说一下我父母的工作,我父母虽然是操作系统,但是他们主要是为一家搜索引擎公司工作,帮助这家公司搜集网上的各种图片并且进行整理。网络上图片太多了,父母实在忙不过来,所以生了很多孩子来帮助他们搜集这些图片。我就是众多子女中的一个,刚出生就被安排去网络上搜集爬取图片了,虽然没有童年,但是我每天的工作很有意思!

友情提示:百度和Google都属于搜索引擎公司,这些公司都大量的网络爬虫。

还记得第一天工作的场景,我跟着很多兄弟姐妹来到了一个叫做任务分发的房间,我们都排好队翘首等待着。趁着这个排队的间隙,我问排在前面的小姐姐,“小姐姐,我们在排队等什么?”小姐姐很温柔,她肯定猜出我是第一次来,语气很温柔的回道“小弟弟,第一次来吧?我们在这排队是等待分配具体工作,一会管理人员会给你一个纸条,上面写着你的目的地以及你要去做什么具体事情。你按照纸条上面的指示做就可以了,一看你就很聪明,做过一次之后你就会熟悉了”被姐姐这么一夸,我顿时自信满满,满怀紧张和期待继续等待着。

很快就排到了我,管理人员看了我一眼,“小弟弟你是新来的吧,看着面生呢,这是你的具体任务内容,加油喔!下一个。”说话间便把一张纸条塞到了我的手上。我离开任务分配车间来到了出发车间,这个地方停着很多车,这些车时速都可以媲美光速,我找了一辆车坐进去。我小心翼翼打开纸条,纸条上面写着几行字“目的地:B站Cosplay漂亮街仓库。工作内容:爬取B站上面Cosplay图片。”我心头窃喜,想不到第一个工作就这么有意思,迫不及待的我启动了按钮,出发啦!

按照纸条上的目的地指示,我在计算机网络上很快就找到了B站。B站服务器大门口贴着告示,很多人都在围观,出于好奇我也凑上去看了看。原来告示内容是关于是否准许爬虫工作者进入的,还有一些爬虫工作准则。毕竟第一次来B站,我必须老老实实按照人家的规则办事,要不很容易被拉进黑名单,进入黑名单之后以后想进B站都难喽。

我顺利的进入了B站服务器并且找到了Cosplay漂亮街的存储仓库,我找到负责人并把纸条递给他看了一下,负责人是一个雷厉风行的人,很快就把我所需要的内容打包放到了我的车上。我瞅了一眼,发现都是原材料,里面除了图片还有很多其他东西,我一脸疑惑的想开口问负责人。他明显看透了我的心思,“小伙子,第一次工作吧?你把这些东西带回去就行,我们除了提供给你图片还会提供一些其他内容,辅助你们工作的喔”。

我不好再次叨扰,说声再见之后就开车回去了,我相信自己一定可以解开所以疑问的!

上一篇下一篇

猜你喜欢

热点阅读