网络爬虫（八）

关于cookie，大家应该都知道，缘由是为了解决http/https协议无状态的特性，当用户访问网站时，服务端并不知道访问者的是谁、是否有权限、是否登录过等等信息，所以需要cookie保存一些客户端的信息，在客户端请求或访问服务端时会携带cookie信息发给服务端。
cookie在客户端post请求后，由服务端创建。
这就用到python中的Session对象。这个对象有两个作用：

• 可以向服务端发出请求。
• 如果服务端产生cookie，会自动存在Session对象里。

    url = "https:/xxxxxx.com"  # 指定url
    #设置user-agent用字典的形式
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}
    
    parm={'kw':xxxx,'email':'yyyy'} #传入post参数
    session=requests.Session() #生成Session对象
    res = session.post(url,data=parm,headers=headers)  #用Session对象发出请求，如果服务端产生cookie就放在Session对象中。
 ..........
    session.get(url,headers=headers) #发请求时会携带cookie一并发给服务端。