url中带中文转义才能访问

2020-02-12  本文已影响0人  黑色汪汪汪

举例

url="*********?kind=upissue&issuenolist=2020年1期"
连接地址里面带汉字的,理论上用scrapy直接去访问是没有问题,如果有问题,那就是字符编码错了。

举个例子,如果对方网站默认字符集是utf8,那么不用看了,scrapy直接可以访问。

如果对方网站默认字符集是gbk,那就需要做点什么了。

import urllib
import string
new_url = str(url).encode('gbk')
url = urllib.parse.quote(new_url, safe=string.printable)
上一篇下一篇

猜你喜欢

热点阅读