Python学习之旅

网络爬虫初识

2018-01-20  本文已影响7人  依旧丶森

爬虫就是从网页中爬取数据的,这些数据可以是网页代码、图片、视频、音频等等,只要是浏览器网页中可以呈现的,都可以通过爬虫程序获取,针对性的大量数据的采集工作,我们会使用爬虫程序进行自动化操作。

1.第一个简单基础的小爬虫

    # -*- coding:utf-8 -*-
    # 添加注释,让python源代码支持中文

    improt urllib2
    # 引入需要的模块
  
    # 访问目录网站,获取响应数据
    response = urllib2.urlopen(“https://www.taobao.com”)
          #这一步可以拆分为:2步
          #1.定义自己的请求对象
          my_request=urllib2.Request(url)
          #2.将请求对象发送
          response=urllib2.urlopen(my_request)

    # 打印展示获取到的数据
    print (response.read())  
    #read是读取response,只能读一次,
    #如果再次读取,会继续读取,造成读取不到数据。

注意:
python3默认情况下是unicode编码的,所以对于中文、数字、字母、特殊符号的支持是一致的!
python2默认情况下是ascii编码的,所以对于中文的支持就不会太友好了!所以在默认情况下,源代码中不会识别中文,为支持中文,可以在源代码的头部[第一行/第二行]添加支持中文的标准注释[# -- coding:utf-8 -- ]。

2.爬虫与反爬虫

一般网站比较欢迎通用爬虫(类似搜索引擎的爬虫),通用爬虫可以引入新的客户流量,但不能更好的采集数据,网站也不欢迎爬虫去抓取大量信息数据,所以都有反爬机制,根据数据的珍贵程度,反爬机制强度也不一样。

完整的请求头信息
Host:           访问地址
Connection: keep-alive   保持长连接
Content-Length:     文本大小
Accept:         接收数据格式
Origin: http://fanyi.youdao.com
X-Requested-With:    请求的格式xml
User-Agent:   请求的浏览器信息,告诉网站自己不是爬虫
Content-Type:     文本编码格式
Referer:          反外链
Accept-Encoding:   接收返回信息的格式,默认压缩
Accept-Language:     接收的文本编码
Cookie:      ......

一般的请求,不用全部使用,只需要根据实际测试,添加必须的请求头信息。必要的有:User-Agent、Cookie、Referer 这三个。有些网站也会在请求头添加动态生成的额外请求头包含,需要注意破解添加。

    添加请求头的两种方式:注意中文的编码
    #1.直接把每一项的信息通过add_header逐一添加
    request.add_header("User-agent", user_agent)
    #2.把请求头信息包含在一个字典,直接赋值添加
    my_request=urllib2.Request(url,data=data,headers=header)

3. 查看urlib2底层操作,设置代理和获取cookie

python内置模块提供了通用爬虫可以操作的Opener对象,但是如果一旦涉及到自定义的针对各种特定环境的操作,python内置的Opener对象就不能满足我们的需要了。需要自己定义对象操作。

观察底层代码操作,无非就是通过HTTPSHandler创建了一个HTTPS协议的处理器对象,然后通过build_opener()函数构建了一个opener实现和指定服务器url地址之间的数据访问操作。鉴于此,我们也可以自定义openr的实现过程:

    import urllib2

    #定义访问地址
    request=urllib2.Request('https://www.taobao.com')

    #创建一个自定义的Handler对象
    http_handler=urllib2.HTTPHandler()

    #构建一个opener对象
    http_opener=urllib2.build_opener(http_handler)

    #发送请求
    response=http_opener.open(request)

    #当我们需要使用代理服务器时,既可以使用代理服务器对象
    #构建一个可以操作的代理服务器Handler对象替代原来的handler对象
    handler=urllib2.ProxyHandler('{"http": "117.90.1.192:9000"}')
    有账号密码时({"http":"admin:123123@110.73.8.153:8123"})
上一篇下一篇

猜你喜欢

热点阅读