网络爬虫1--http协议和urllib

2018-08-10 本文已影响0人 bula_bula_bula_

爬虫初步

爬虫概念

都有哪些语言可以实现爬虫

（1）php, 号称世界上最好的语言，可以实现爬虫，但做的不好，天生对多进程和多线程支持的不好

（2）java，可以实现，而且做的非常好，是python爬虫最主要的竞争对手, 但语言不简洁，代码臃肿，重构成本高（3）c、c++，也可以实现爬虫，非常强大，但是不是一个好的选择（4）python，可以实现，号称世界上最优雅的语言，代码简洁，学习成本低，执行效率也好，而且还有一个非常强大的爬虫框架 scrapy

通用爬虫

例子：百度、谷歌、360、搜狗、必应等等，搜索引擎

工作：（1）爬取互联网所有的数据（2）对数据存储并且处理（3）给用户提供检索服务如何让百度抓取你的网站？（1）静静地等待，百度会和DNS服务商合作（2）主动提交自己的url （3）在其它网站设置友情链接我的网站不想让百度抓取？君子协议，口头协议，robots协议存放到网站的根目录下，限制搜索引擎可以爬取哪些，不可以爬取哪些

<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="" contenteditable="false" cid="n26" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;">##### 如何提升网站排名（SEO）</pre>

（1）pagerank值排名，根据点击量、浏览量等，相当靠谱

（2）竞价排名

<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="" contenteditable="false" cid="n31" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;">##### 通用爬虫缺点：</pre>

（1）抓取很多数据都是无效的

（2）不能根据自己的需求抓取数据

聚焦爬虫

根据自己特定的需求，来抓取指定的数据

如何实现聚焦爬虫？网页的特点：（1）网页都有自己唯一的url （2）网页都是由html组成（3）网页传输都是使用http、https协议

思路：

（1）给一个url

（2）模拟浏览器发送http请求（3）从html结构中提取指定的数据，从字符串中根据规则提取指定数据

开发环境：

windows系统，python3.x（64位），sublime编辑器，pycharm，vscode

整体内容：

（1）涉及到的python库

urllib,requests,selenium,jsonpath,lxml等一些库（2）解析内容正则表达式解析，bs4解析，xpath解析，jsonpath解析（3）采集动态html DOM操作，动态的添加或者删除节点，selenium+phantomjs （4）scrapy框架异步高性能网络爬虫框架的学习（5）scrapy-redis分布式部署在scrapy的基础上，多了一套分布式部署的组件（6）涉及到的爬虫-反爬虫-反反爬虫之间的斗争反爬会伤害真实的用户，一般情况下，反爬也就这么两点：第一个UA，第二个封ip，第三个验证码，光学识别，打码平台换思路解决问题：其他网站，手机端等

关于http协议

http和https的区别

HTTPS和HTTP的区别主要如下： 1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。 2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。 3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。 4、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。

加密：公钥私钥

客户端：123456用秘钥加密=======》服务端：用秘钥解密得到123456 秘钥相同称之为对称加解密秘钥不相同称之为非对称加解密客户端：123456用公钥加密=======》服务端：用私钥解密得到123456 http协议学习：

请求：包含请求行、请求头、请求内容

请求行：请求方式、请求资源、协议版本号

请求头：

accept:浏览器通过这个头告诉服务器，它所支持的数据类型
Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式
Accept-Language：浏览器通过这个头告诉服务器，它的语言环境
Host：浏览器通过这个头告诉服务器，想访问哪台主机If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的防盗链
Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接
X-Requested-With: XMLHttpRequest 代表是ajax的请求

响应：响应行、响应头、响应内容

响应行里面，常见的状态码

200：请求成功处理方式：获得响应的内容，进行处理
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存处理方式：重定向到临时的URL
304：请求的资源未更新处理方式：丢弃，使用本地缓存文件
403：禁止处理方式：丢弃
404：没有找到处理方式：丢弃
405：请求方式不对
500：服务器内部错误服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。

响应头

Location: 服务器通过这个头，来告诉浏览器跳到哪里

Server：服务器通过这个头，告诉浏览器服务器的型号
Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格式
Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
Content-Language: 服务器通过这个头，告诉浏览器语言环境
Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
Refresh：服务器通过这个头，告诉浏览器定时刷新
Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
Expires: -1 控制浏览器不要缓存
Cache-Control: no-cache
Pragma: no-cache

响应内容：html、css、js、图片

抓包工具

（1）谷歌浏览器自带抓包工具右键开发者工具==》network XHR: XMLHttpReqeust 前端要想发送ajax请求，通过它创建对象，发送请求 query_string_parameters : 请求字符串，get参数 formdata ：如果是post参数（2）专业工具，fiddler，charles…… 专业抓包工具，比谷歌强在了跳转的时候很多请求都能抓取到前端要像发送ajax请求，创建对象调用对象方法需要通过XHR

urllib库

urllib库是自带的python库，模拟发送http请求在python 2系列中使用：urllib urllib2 在python 3系列中使用：urllib

urllib库的使用

urllib.request 模拟发送请求
- urlopen(url) : 向url发送请求，得到响应对象
  
  <pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n213" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; background-position: inherit inherit; background-repeat: inherit inherit;">import urllib.request
  url = 'http://www.baidu.com/'
  
  response = urllib.request.urlopen(url)
  
  print(response)
  print(response.read())</pre>
可以看到结果如下：

[图片上传失败...(image-6c985d-1533895191853)]
- print(response.read().decode('utf8'))：得到了二进制的格式，下一步我们需要使用decode将二进制格式解码为字符串格式
  
  response属性和方法
- print(response.url)：拿到请求的url
- print(response.headers)：拿到请求的headers
- print(response.status)：拿到请求的状态码
- urllib.parse: 处理参数或者url
- urllib.error: 如何处理异常

保存到文件

将抓取的数据保存到文件有两种方式：

第一种方式：通过with打开文件（注意统一编码格式）

<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n249" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 0px; width: inherit; background-position: inherit inherit; background-repeat: inherit inherit;"># 将获取的响应内容保存到文件中
with open('baidu1.html', 'a', encoding='utf8') as fp:

fp.write(response.read().decode('utf8'))

以二进制的格式保存

with open('baidu2.html', 'wb') as fp:

fp.write(response.read())</pre>

第二种方式：直接以二进制的格式写入

<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n252" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;"># 实现发送请求，将内容写入文件

urllib.request.urlretrieve(url, 'baidu3.html')</pre>

- urlretrieve(url, filepath) ：向url发送请求，直接将响应写入到filepath中
编码：
- 字符串格式==》字节格式
  
  encode('utf8')
- 字节格式==》字符串格式
  
  decode('gbk')

爬取图片的保存

下载图片：得到图片的src属性，就可以将图片下载到本地

有两种方式，主要是对图片是做二进制的处理:

<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n280" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;">import urllib.request

url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1533639915215&di=1bbd3901c9991b363ac0211dc861a909&imgtype=0&src=http%3A%2F%2Fhbimg.b0.upaiyun.com%2F225a5f3f75d1d4c59532704782eebd25d323fd801e57a-VlY5c4_fw658'

第一种方式，发送请求，获取响应

response = urllib.request.urlopen(url)

with open('meinv.jpg', 'wb') as fp:

fp.write(response.read())

第二种方式，

urllib.request.urlretrieve(url, 'meinv2.png')</pre>