爬取中文网站时乱码处理

Python爬取中文网站时，经常会遇到爬下来的中文时乱码，今天研究了一下午终于给解决了，特此记录一下。
首先，上一段爬取代码：

import requests
r = requests.get('http://lib.tjufe.edu.cn/')
print(r.text[:200])

运行结果如下： image.png

可以发现，中文变成了乱码。
研究了一下去，大致总结了下出现乱码的原因就是编码不一致，由于py文件是utf-8，爬取的网站很多不是utf-8，所以需要转换一下编码才能正确输出。以下代码就可以解决乱码问题，在解析网页之前加上这段代码即可。

        if r.status_code == 200:          
            #解决中文乱码问题
            if r.encoding == 'ISO-8859-1':
                if requests.utils.get_encodings_from_content(r.text) == []:
                    encoding = r.apparent_encoding
                else:
                    encoding = requests.utils.get_encodings_from_content(r.text)[0]
                    
                if re.match('^utf-8',encoding.lower()):
                    content = r.text.encode('ISO-8859-1').decode('utf-8','ignore')
                elif re.match('^utf-16',encoding.lower()):
                    content = r.text.encode('ISO-8859-1').decode('utf-16','ignore')
                elif encoding.lower() == 'gb2312':
                    content = r.text.encode('ISO-8859-1').decode('gb2312','ignore')
                elif encoding.lower() == 'gbk':
                    content = r.text.encode('ISO-8859-1').decode('gbk','ignore')
                else:
                    pass

完整的代码如下：

import requests,re
r = requests.get('http://lib.tjufe.edu.cn/')

#print(r.headers['content-type'])
#print(r.encoding)
#print(r.apparent_encoding)
#print(requests.utils.get_encodings_from_content(r.text))

if r.encoding == 'ISO-8859-1':
    if requests.utils.get_encodings_from_content(r.text) == []:
        encoding = r.apparent_encoding
    else:
        encoding = requests.utils.get_encodings_from_content(r.text)[0]
        
    if re.match('^utf-8',encoding.lower()):
        content = r.text.encode('ISO-8859-1').decode('utf-8','ignore')
    elif re.match('^utf-16',encoding.lower()):
        content = r.text.encode('ISO-8859-1').decode('utf-16','ignore')
    elif encoding.lower() == 'gb2312':
        content = r.text.encode('ISO-8859-1').decode('gb2312','ignore')
    elif encoding.lower() == 'gbk':
        content = r.text.encode('ISO-8859-1').decode('gbk','ignore')#以上基本涵盖了所有中文编码，如果还有乱码，则用上面的函数打印出乱码的编码，再添加解码即可。
    else:
          pass
else:
    content = r.text


print(content[:200])

image.png

可以看见已经显示为中文了。