Python学习爬虫基本知识

Python3中get与post请求

2017-08-05  本文已影响24人  听城

urllib.request 模块定义了一些类及方法,用于帮助我们访问URL
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False)
方法是用来打开url的方法,其中url可以是一个合法的url字符串,或者是一个request对象;data必须是字节数据类型的。详细介绍可参见python3官方文档urllib.request。
关于数据提交的两种方式get、post的区别,在此就不再赘述,下面给出两种提交方式的例子:

Get:

from urllib import request

req = request.Request('http://www.douban.com/')
req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
with request.urlopen(req) as f:
    print('Status:', f.status, f.reason)
    for k, v in f.getheaders():
        print('%s: %s' % (k, v))
    print('Data:', f.read().decode('utf-8'))
import urllib.parse  
import urllib.request

#urlencode可以把key-value这样的键值对转换成我们想要的格式,返回的是a=1&b=2这样的字符串
#百度搜索的页面的请求为'http://www.baidu.com/s?wd=',wd为请求搜索的内容
#urlencode遇到中文会自动进行编码转化
#一个参数时可以采用'http://www.baidu.com/s?wd='+keywd的格式,
# 但是当keywd为中文的时候需要用urllib.request.quote(keywd)进行编码转换
data = urllib.parse.urlencode({'wd': '听城', 'password': '123'})
print(data)
response = urllib.request.urlopen('http://www.baidu.com/s?%s' % data)
html = response.read()
# print(html.decode('utf-8'))
file = open('D:/1.html','wb')
file.write(html)
file.close()

Post:

import urllib.parse  
import urllib.request  
  
url = 'http://127.0.0.1:8080/test/index.jsp'  
values = {  
    'name': 'abc',  
    'password': '123'  
}  
data = urllib.parse.urlencode(values)  
# that params output from urlencode is encoded to bytes before it is sent to urlopen as data  
data = data.encode('utf-8')  
req = urllib.request.Request(url, data)
req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
response = urllib.request.urlopen(req)  
  
html = response.read()  
print(html.decode('utf-8'))
上一篇下一篇

猜你喜欢

热点阅读