Python3 爬虫学习(一) - 爬虫前奏

爬虫前奏

爬虫的实际例子

• 搜索引擎
• 伯乐在线
• 惠惠购物助手
• 数据分析与研究（数据冰山知乎专栏）
• 抢票软件

什么是网络爬虫

• 通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并将数据抓取下来，然后使用一定的规则提取有价值的数据。

通用爬虫和聚焦爬虫

• 通用爬虫

通用爬虫是搜索引擎抓取系统（百度、谷歌等）的重要组成部分，主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

• 聚焦爬虫

是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选。

为什么用 Python 写爬虫程序

• PHP：php 天生不是干这个的，而且对多线程，异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。

• Java：Java 的生态很完善，对于写爬虫程序而言，是 Python 的最大对手。但 Java 语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动，而爬虫经常要修改采集代码。

• C/C++：运行效率是无敌的，但学习和开发的成本较高，写个小爬虫可能需要大半天时间。

• Python：语法优美，代码简洁，开发效率高，支持的模块多。相关的 HTTP 请求模块和 HTML 解析模块非常丰富。还有 Scapy 和 Scapy-redis 框架让我们开发爬虫变得异常简单。