spider

04requests模块在python2和python3环境下的

2017-11-20  本文已影响108人  python_spider

在python2环境下:

response.text是unicode数据类型,而response.content是字符串类型

python2环境下数据类型

分别查看response.text和response.content的内容

接下来分别print   response.text和response.content的内容,发现response.content可以正常显示

,而response.text依然是乱码,为了解决这一问题可以查看下默认的编码方式

默认编码方式

设置编码方式为utf-8

        r.encoding='utf-8'  #此处写成utf8也可以

然后分别print  r.text和r.content可以看到文字部分显示正常

在python3环境下:

response.text是str数据类型,而response.content是bytes类型

python3环境下数据类型

查看r.text和r.content文字均未正确显示出来,print之后也没有正确显示,依然是默认编码的问题

设置编码方式

r.encoding='utf-8'

此时查看r.text发现文字部分已经可以正确显示

由于r.content是bytes类型,还需要解码,即通过r.content.decode()查看即可正常显示文字部分

总结:由于我们所要抓取的网站有的进行了编码设置,有的没有设置编码方式依然是默认的ISO-8859-1编码方式,所以可以优先使用response.content,因为response.content不需要设置编码方式即可正常获取内容,只需要注意response.content在python2环境下不需要解码,在python3环境下需要解码即可。

                另外,一般对于获取的响应内容编码的问题,可以先print,依然没有正常显示文字,可以设置编码方式为utf8或者gbk,通常能解决大部分编码的问题。


上一篇下一篇

猜你喜欢

热点阅读