Scrapy Python 爬虫 框架

GET请求和POST请求

2017-02-05  本文已影响19人  carpe_diem_c

urllib2默认的只支持HTTP/HTTPS的GET和POST方法。
urllib仅可以接受url,不能创建headers和request类实例。
但是urllib有urlencode方法用来GET查询字符串的产生。但urllib2是没有的。(所有需要urllib和urilib2一起使用)
编码工作使用urllib的urlencode()函数,帮我们将key:value这样的键值对转换成"key=value"这样的字符串,解码工作可以使用urllib的unquote()函数。(注意,不是urllib2.urlencode() )
代码1:

# IPython2 中
In [1]: import urllib

In [2]: word = {"wd" : "你好"}

# 通过urllib.urlencode()方法,将字典键值对按URL编码转换,从而能被web服务器接受。
In [3]: urllib.urlencode(word)  
Out[3]: "wd=%E4%BD%A0%E5%A5%BD"

# 通过urllib.unquote()方法,把 URL编码字符串,转换回原先字符串。
In [4]: print urllib.unquote("wd=%%E4%BD%A0%E5%A5%BD")
wd=你好

一般HTTP请求提交的数据,需要编码程URL编码格式,作为url的一部分或者作为Request对象的参数。

GET方式

get请求用于从服务器获取数据。例如,利用百度搜索‘腾飞五千年’

Paste_Image.png

注意url的内容:

https://www.baidu.com/s?wd=%E8%85%BE%E9%A3%9E%E4%BA%94%E5%8D%83%E5%B9%B4&f=12&rsp=0&oq=%E8%85%BE%E9%A3%9E%E5%8D%83%E5%B9%B4&ie=utf-8&usm=3&rsv_pq=dcc020d8001adada&rsv_t=1b44d110How0IFXusrX%2B5wwnXs4rvXZFFJsckD%2BRDxm04HOYoDdv%2BSPGVgo&rqlang=cn```
在s?wd=后面是一串字符,这就是urllib编码后的结果。
我们可以尝试用默认的Get方式发送请求。
代码2:

coding=utf-8

import urllib
import urllib2

urllib是负责url的编码处理

word = {'wd' : '腾飞千年'}

url = 'http://www.baidu.com'

用urlencode方法把内容转换为url编码格式(字符串)

word = urllib.urlencode(word)
newurl = url + '/s?' + word

headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}

https://www.baidu.com/s?wd=python

request = urllib2.Request(newurl, headers = headers)
response = urllib2.urlopen(request)

html = response.read()

filename = 'name.txt'

with open(filename, 'w') as f:
f.write(html)

print html




上一篇 下一篇

猜你喜欢

热点阅读