爬虫环境的配置

2018-09-29 本文已影响0人高金01

IDE的安装

IDE我用的是VS code，也用过pycharm（但是电脑配置不行，比较卡）

VScode安装教程在这,写的蛮清楚的

然后安装一个python的插件就行
见如下截图

image

windows:在当前用户根目录下，创建.pip和这个文件夹，然后在里面新建一个文件pip.in 里面的内容为

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

截图如下（我当前用户名为kimga）

image

linux：在~/.pip/pip.conf文件中添加或修改（内容同上）

直接pip install 包的名字
如 pip install requests

依次安装如下4个包

如果发现报错的话，

ubuntu用apt-get install python-包名
- 如 apt-get install python-lxml
windows 在Unofficial Windows Binaries for Python Extension Packages
这个网站上手动下载然后安装（这个网站有各种python windows扩展包，pip install 报错的话，就可以到这个网站上下载安装）

windows下pip install lxml 很少能安装成功。。。

image

那我们怎么做呢？

打开Unofficial Windows Binaries for Python Extension Packages这个网址
ctrl+ F，然后在搜索框内输入lxml

image
找到与你系统版本相同的包,下载
- 我的python版本是2.7，系统是64位的，所以我选择lxml‑3.7.3‑cp27‑cp27m‑win_amd64.whl
  image
下载完成后在你下载的目录下打开cmd命令行
- 这边有个小技巧是，找到你下载的目录后，按住shift不放，然后空白处右键，会多出来一个在此处打开命令窗口，不用再慢慢的cd过来
image
然后pip install 你刚下载的文件，发现就安装成功了

image