Python的environment和一个Request的小爬虫

mac系统自带的python版本是2.7的,版本是比较低的,因此我们可以升级到最新版本.
到https://www.python.org/官网下载最新版的.pkg包,然后安装.

一,查看安装的位置

假设目前最新版本是3.7的

//先查看3.7版本是否安装成功, 在终端输入命令:
$python3.7
//查看安装目录:
$which python3.7

屏幕快照 2018-11-14 下午5.10.24.png

二, 新安装的python和以前的地址不一样

因为地址不一样,所以需要重新安装里面的插件

//这是安装pip的命令
$python3.7 -m pip install pillow
//如果已经有了pip插件,需要升级到最新的版本,那么需要执行更新命令
$python3.7 -m pip install -U pip

屏幕快照 2018-11-14 下午5.19.08.png

三,python的environment更新和pip插件都更新完成之后,就需要使用新的environment和pip插件了

因此在使用pychorm创建新的项目的时候再下面可以选择environment,只需要选择好python3.7的目录就行了,然后可以应用到所有项目最新的environment.
也可以在偏好设置里更改environment, pycharm - preference - project interpreter选择之前查找的最新版本的python3.7

四,Request测试,爬一个网页

在升级完成pip之后,需要安装一个Requests插件, 用来请求网络的
在Preference - Project:项目名称 - Project Interpreter 然后点击+, 搜索requests插件,然后install

屏幕快照 2018-11-14 下午6.29.15.png

然后在文件里使用Requests模块.

#!usr/bin/env python2.7
#coding: utf-8

import collections
import requests
import os

"""
collections是python内建的一个集合模块,提供了许多有用的集合类.
"""

try:
    url = "http://baishi.baidu.com/watch/02167966440907275567.html"  #图片地址
    root = "/Users/max/Desktop/python/pachongfile/"
    path = root + url.split("/")[-1]
    if not os.path.exists(root):  #目录不存在创建目录
        os.mkdir(root)
    if not os.path.exists(path):  #文件不存在则下载
        r = requests.get(url)
        f = open(path, "wb")
        f.write(r.content)
        f.close()
        print("文件下载成功")
    else:
        print("文件已经存在")
except:
    print("获取失败")

OK,这就完成了一个简单的爬虫测试.