基础篇-爬虫基本原理
2017-04-23 本文已影响393人
xuzhougeng
本文为自己动手，丰衣足食！Python3网络爬虫实战案例的学习笔记，部分图片来源于视频截图。
爬虫：请求网站，并提取数据的自动化程序请求网站，并提取数据的自动化程序
爬虫基本流程
在了解爬虫的定义之后，那么再来看看爬虫是如何工作的吧。
第一步：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址。
第二步： 获取响应内容（response）。如果请求的内容存在于服务器上，那么服务器会返回请求的内容，一般为：HTML，二进制文件（视频，音频），文档，Json字符串等。
第三步：解析内容。对于用户而言，就是寻找自己需要的信息。对于Python爬虫而言，就是利用正则表达式或者其他库提取目标信息。
第四步：保存数据。解析得到的数据可以多种形式，如文本，音频，视频保存在本地。
爬虫基本流程
请求与响应
爬虫最主要的任务就是发起请求(Request)，然后获取服务器的响应(Response)。
请求与响应
Request所包含的信息：
爬虫的第一步就是发起请求，请求包括如下内容：
- 请求方式： 主要有GET,POST两种类型，另外还有HEAD,PUT,DELETE,OPTIONS等。
GET特点：请求的参数全部包含在请求的网址内。
POST特点： 需要构造Form Data才能发起请求 - 请求URL：URL的全名是统一资源定位符。网络上的一切资源都是位于服务器的某一个位置，而URL就是告知浏览器去哪里获取这些资源。
- 请求头：请求头（header）就是告诉服务器你是谁，包括User-gaget,Host,Cookies等信息。添加请求头信息，保证请求合法
-
请求体：请求时包含的额外数据，如POST请求需要输入的表单数据，一般用于模拟登陆。
什么是请求
console中的request
Response所包含的信息
向服务器发出请求后，不出意外，服务器就会返回一个响应（response）。包括如下内容：
- 响应状态：用于表示请求的结果，如200代表成功，404找不到页面，502服务器错误等。
- 响应头 ：如内容类型，内容长度，服务器信息，设置Cookie等等
- 响应体就是网页源代码，也就是用于解析数据的部分。
访问网页遇到的第一个文件一般都是document形式，都是网页源代码。然后解析内部的超链接，继续发起请求。
响应内容
console中的response
代码部分：
# 导入请求库
import requests
# 请求网页
response = requests.get('http://www.baidu.com')
# 查看响应体内容
print(response.text)
print(response.content)
print(response.headers)
print(response.status_code)
能够抓取的数据:
只要是网页上可以看到的内容，不出意外都是可以抓取的。但是能不能抓得到很大程度上取决于你的爬虫水平。
- 网页文本： 如HTML文档，Json格式文本等
- 图片： 获取的都是二进制文件，如果保存为图片格式
- 视频： 也是也二进制文件，保存为视频格式
- 其他 : 只要你能请求到，就能获取到
数据类型
如何解析网页：
网页解析的方法
解析网页会遇到的问题
抓到的数据和浏览器看到的不一样
element看到的网页的源代码已经经过修饰，数据来自后台端口
浏览器运行JS，后台请求加载，
如何解决JavaScript渲染问题
- 分析Ajax请求
- selenium/webdriver
- Splash
- PyV8、Ghost.py
数据保存方法
