爬虫-urllib库的应用
2018-01-16 本文已影响0人
郭大侠
四个模块
请求模块
status状态，200表示成功请求。header中包括一些请求及服务器的状态
另外可以将request参数化（为了添加header参数）：
data参数当网站使用post方法提交数据时使用该参数。bytes以字节流形式提交。
运行结果：
cookies保存（免登陆 ），使用代理（应对反爬虫）
异常的处理：
URL解析：urlparse
urlunparse:反过程，将各段拼接起来
urlencode方法将字典结构转化为get请求字符串的结构
