常用内置函数三

一、Python的标准Web库

urllib是基于http高层的库

• request处理客户端请求
• response处理服务端响应
• parse会解析url

1、我们用urllib的request模块发送一个get请求到豆瓣的一个URLhttps://api.douban.com/v2/book/2129650进行抓取，并返回响应：

from urllib import request
with request.urlopen('https://api.douban.com/v2/book/2129650') as f:
    data = f.read()
    print('Status:', f.status, f.reason)
    for k, v in f.getheaders():
        print('%s, %s' %(k,v))
    print('Data:', data.decode('utf-8'))

2、如果我们想模拟浏览器发送get请求，就需要使用Request对象，通过往Request对象添加HTTP头，我们就可以把请求伪装成浏览器。例如，模拟iPhone 6去请求豆瓣首页：

from urllib import request

req = request.Request('http://www.douban.com')
req.add_header('User-Agent', '''Mozilla/6.0 (iPone: CPU iPhone OS 8_0 like Mac OS X) 
    AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25''')
with request.urlopen(req) as f:
    print('Status:', f.status, f.reason)
    for k, v in f.getheaders():
        print('%s: %s' %(k,v))
    print('Data:', f.read().decode('utf8'))

3、如果要以POST发送一个请求，只需要把参数data以bytes形式传入。我们模拟一个微博登录，先读取登录的邮箱和口令，然后按照weibo.cn的登录页的格式以username=xxx&password=xxx的编码传入：

from urllib import request, parse

print('Login to weibo.cn...')
email = input('Email:')
passwd = input('Password:')
login_data = parse.urlencode([
    ('username', email),
    ('password', passwd),
    ('entry', 'mweibo'),
    ('client_id', ''),
    ('savestate', '1'),
    ('ec', ''),
    ('pagerefer', 'https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F')
    ])

req = request.Request('https://passport.weibo.cn/sso/login')
req.add_header('Origin', 'https://passport.weibo.cn')
req.add_header('User-Agent', '''Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) 
    AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25''')
req.add_header('Referer', '''https://passport.weibo.cn/signin/
    login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F''')

with request.urlopen(req, data=login_data.encode('utf8')) as f:
    print('Status:', f.status, f.reason)
    for k,v in f.getheaders():
        print('%s: %s' % (k, v))
    print('Data:', f.read().decode('utf8')) 

二、Requests

python内置的urllib模块用起来比较麻烦，而且缺少很多实用功能。
最好是使用第三方库requests

2.1、安装requests

pip install requests

2.2、通过GET访问一个页面

import requests
r = requests.get('https://www.douban.com')
print(r.status_code)
print(r.text)   

r.text相当于request.urllib().read(),encode('utf8')，而且排版更好？还有不用编码，因为requests自动检测编码，可以用r.encoding查看。
对于带参数的URL，传入一个dict作为params参数

 r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})

2.3、传入参数：

 r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})

2.4、requests的方便之处还在于，对于特定类型的响应，例如JSON，可以直接获取：

r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
r.json()

要发送POST请求，只需要把get()方法变成post()，然后传入data参数作为POST请求的数据就行。

三、virtuatenv

virtuatenv用来解决不同项目类库的依赖问题，假如项目A需要jinja 2.7，而项目B需要jinja 2.6，而系统安装的python环境只有一个，所有安装的第三方包都在安装到Python3的site-packages目录下，所以我们需要给两个项目分别一个独立的python环境，这时候就得用到virtuatenv。

3.1 在系统中安装virtuatenv

2.png

构造项目目录，为项目安装虚拟环境：

3.2 首先创建了项目文件夹myproject，然后在该文件夹中安装了虚拟环境env。

1.png

3.3、启动虚拟环境，安装所需类库：

在windows中虚拟环境的启动使用命令：your_env_dir\Scripts\activate
默认情况下，virtualenv已经安装好了pip。在启动虚拟环境后直接使用pip install 命令就可以为该虚拟环境安装类库：

4

3.4、离开虚拟环境

4.png

常用模块和第三方模块网络模块我基本都看完了而且打完了，只是觉得都比较浅，没啥好记笔记的，有的简单的简单，有的懵逼的懵逼，但是为了后面做那个实战还是得继续，明天开始电子邮件和数据库。 - -