为什么需要对URL编码：

1.、当字符串数据以url的形式传递给web服务器时，字符串中是不允许出现空格和特殊字符串的

2.、url对字符有限制，比如把一个邮箱放入url，就需要使用urlencode函数。

3.、url转义其实也只是为了符合url的规范而已。因为在标准的url规范中中文和很多的字符是不允许出现在url中的。

使用urllib.parse来做编码与解码

import urllib.parse

# 编码
def urlencode(str):
    return urllib.parse.quote(str)

# 解码
def urldecode(str):
    return urllib.parse.unquote(str)

str = '我爱北京天安门'
email = 'seancheney@qq.com'
num = '123456'

print(urlencode(str))
print(urlencode(email))
print(urlencode(num))

print(urldecode('%E6%88%91%E7%88%B1%E5%8C%97%E4%BA%AC%E5%A4%A9%E5%AE%89%E9%97%A8'))

搜狗微信抓取时，Cookie必须要带上SUID、SUV和SNUID，所以需要搭建Cookie池（获取这三个值，可以参考这篇文章）。如果要做高级搜索（只抓一天之内的文章），需要带上Referer信息。

把URL编码和抓取代码结合起来（记得替换Cookie）：

import requests
import urllib.parse
from lxml import etree


def urlencode(str):
    return urllib.parse.quote(str)

def download(keyword):
    keyword_encoded = urlencode(keyword)
    header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:68.0) Gecko/20100101 Firefox/68.0',
        'Cookie':'SUID=32DB6CCA7D29990A000000005D5B5C15; SUV=004E3C72CA6CDB325D5B5C166D97C484; SNUID=13FB4DEB2125B194B0D8F2CA2156B801',
        'Host':'weixin.sogou.com',
        'Referer':'https://weixin.sogou.com/weixin?type=2&s_from=input&query={}&ie=utf8&_sug_=n&_sug_type_='.format(keyword_encoded),
        }
    url = 'https://weixin.sogou.com/weixin?usip=&query={}&ft=&tsn=1&et=&interation=&type=2&wxid=&page=6&ie=utf8'.format(keyword_encoded)
    response = requests.get(url,
                            headers=header,
                            timeout=5,
                            )
    if response.encoding != 'ISO-8859-1':
        html = response.text
    else:
        html = response.content
        if 'charset' not in response.headers.get('content-type'):
            encodings = requests.utils.get_encodings_from_content(response.text)
            if len(encodings) > 0:
                response.encoding = encodings[0]
                html = response.text
    tree = etree.HTML(html)
    txt_box = tree.xpath('//div[@class="txt-box"]')
    for box in txt_box:
        title = ''.join(p.strip() for p in box.xpath('./h3/a//text()'))
        url = box.xpath('./h3/a/@data-share')[0]
        print(title)
        print(url)


if __name__ == '__main__':
    download('北京')