Anaconda再谈

2020-09-28 本文已影响0人徐卜灵

**Author By Bing **

On 2020-08-06

[toc]

1. Anaconda简介

1.1 特点

Anaconda是Python的包管理器和环境管理器，其包含了conda、Python等180多个科学包及其依赖项。

我已经安装了Python，那么为什么还需要Anaconda呢？原因有以下几点：

Anaconda附带了一大批常用数据科学包，它附带了conda、Python和 180 多个科学包及其依赖项，因此你可以用Anaconda立即开始处理数据。
包管理：Anaconda 是在 conda（一个包管理器和环境管理器）上发展出来的。在数据分析中，你会用到很多第三方的包，而conda（包管理器）可以很好的帮助你在计算机上安装和管理这些包，包括安装、卸载和更新包。
环境管理：为什么需要管理环境呢？比如你在A项目中用到了Python2，而新的项目要求使用Python3，而同时安装两个Python版本可能会造成许多混乱和错误。这时候conda就可以帮助你为不同的项目建立不同的运行环境。还有很多项目使用的包版本不同，比如不同的pandas版本，不可能同时安装两个pandas版本。你要做的应该是在项目对应的环境中创建对应的pandas版本。这时候conda就可以帮你做到。

1.2 下载

官网地址：https://www.anaconda.com/download/

官方archive: https://repo.anaconda.com/archive/ (推荐，全)

清华镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/（推荐，快）

1.3 Anaconda 安装包版本与Python版本对应关系

Release date	conda	python2.7	python3.4	python3.5	python3.6	python3.7	python3.8
2015/2/25			3.4.3
2015/5/23		2.7.10
2015/9/13				3.5.0
2015/12/5		2.7.11
2015/12/7				3.5.1
2015/12/21			3.4.4
2016/3/29	conda 4.0.5	Anaconda2-4.0.0		Anaconda3-4.0.0
(python 2.7.11)	(python 3.5.1)
2016/6/28	conda 4.1.4	Anaconda2-4.1.0		Anaconda3-4.1.0
(python 2.7.11)	(python 3.5.1)
2016/6/25		2.7.12
2016/6/27			3.4.5	3.5.2
2016/7/8	conda 4.1.6	Anaconda2-4.1.1		Anaconda3-4.1.1
(python 2.7.12)	(python 3.5.2)
2016/9/28	conda 4.2.9	Anaconda2-4.2.0		Anaconda3-4.2.0
(python 2.7.12)	(python 3.5.2)
2016/12/17		2.7.13
2016/12/23					3.6.0
2017/1/17			3.4.6	3.5.3
2017/1/31	conda 4.3.8	Anaconda2-4.3.0			Anaconda3-4.3.0
(python 2.7.13)	(python 3.6.0)
2017/3/10	conda 4.3.14	Anaconda2-4.3.1			Anaconda3-4.3.1
(python 2.7.13)	(python 3.6.0)
2017/3/21					3.6.1
2017/5/31	conda 4.3.21	Anaconda2-4.4.0			Anaconda3-4.4.0
(python 2.7.13)	(python 3.6.1)
2017/7/17					3.6.2
2017/8/8				3.5.4
2017/8/9			3.4.7
2017/9/26	conda 4.3.27	Anaconda2-5.0.0			Anaconda3-5.0.0
(python 2.7.13)	(python 3.6.2)
2017/9/16		2.7.14
2017/10/3					3.6.3
2017/10/25	conda 4.3.30	Anaconda2-5.0.1			Anaconda3-5.0.1
(python 2.7.14)	(python 3.6.3)
2017/12/19					3.6.4
2018/2/5			3.4.8	3.5.5
2018/2/15	conda 4.4.10	Anaconda2-5.1.0			Anaconda3-5.1.0
(python 2.7.14)	(python 3.6.4)
2018/3/28					3.6.5
2018/5/1		2.7.15
2018/5/30	conda 4.5.4	Anaconda2-5.2.0			Anaconda3-5.2.0
(python 2.7.15)	(python 3.6.5)
2018/6/27					3.6.6	3.7.0
2018/8/2			3.4.9	3.5.6
2018/9/28	conda 4.5.11	Anaconda2-5.3.0				Anaconda3-5.3.0
(python 2.7.15)	(python 3.7.0)
2018/10/20					3.6.7	3.7.1
2018/12/21	conda 4.5.12	Anaconda2-2018.12				Anaconda3-2018.12
(python 2.7.15)	(python 3.7.1)
2018/12/24					3.6.8	3.7.2
2019/3/4		2.7.16
2019/3/18			3.4.10	3.5.7
2019/3/25						3.7.3
2019/4/4	conda 4.6.11	Anaconda2-2019.03				Anaconda3-2019.03
(python 2.7.16)	(python 3.7.3)
2019/7/2					3.6.9
2019/7/8						3.7.4
2019/7/24	conda 4.7.10	Anaconda2-2019.07				Anaconda3-2019.07
(python 2.7.16)	(python 3.7.3)
2019/10/14							3.8.0
2019/10/15						3.7.5
2019/10/19		2.7.17
2019/10/29				3.5.8
2019/11/2				3.5.9

1.4 安装

略

Note:注意添加环境变量

1.5 软件简介

Jupyter Lab
- JupyterLab，极其强大的下一代notebook！
Jupyter Notebook-REPL
- Jupyter Notebook介绍、安装及使用教程
Spyder-IDE
- Spyder使用教程

1.6 pip 与 conda之争

配置源的目的：官方服务器在国外，下载速度慢。配置源可以加速下载所需要的软件包。

配置pip源

临时源 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

固定源

类Unix

cd 
mkdir .pip # 注意有个点
vim pip.conf
# 写入以下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = https://pypi.tuna.tsinghua.edu.cn

Windows

# 在user目录下新建一个pip目录，注意没有“点”。然后新建pip.ini文件，写入以下内容

[global]
index-url = http://pypi.douban.com/simple
[install]
trusted-host = pypi.douban.com

附：国内知名镜像地址 PIP下载安装更高效

配置conda源

临时源
- 这个不太常用，没试过，以后试过再来补充。

固定源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --set show_channel_urls yes

换回默认源
- conda config --remove-key channels

在执行conda config 命令的时候，会在当前用户目录下创建.condarc文件，注意

附：conda国内镜像修改最新版

pip VS conda

img

https://www.sohu.com/a/259103573_657064

https://www.jianshu.com/p/5601dab5c9e5

小孩子才做选择，成年人的我全都要。

将pip与conda结合的主要原因是有些包只能通过pip安装。 Anaconda创酷提供超过1,500个软件包，包括最流行的数据科学，机器学习和AI框架。这些，以及包括conda-forge和bioconda在内的数据通过Anaconda云提供的数千个附加软件包，可以使用conda进行安装。尽管有大量的软件包，但与PyPI上提供的150,000多个软件包相比，它仍然很小。有时候需要的包没有conda包，但在PyPI上有，可以用pip安装。

2. 虚拟环境

2.1 使用conda管理虚拟环境

创建虚拟环境

conda create -n xb_py_venv

之后y确认即可。

激活(脱出)虚拟环境

source activate xb_py_venv #激活
source deactivate xb_py_venv #不激活

其他关于conda的命令
列出所有已有虚拟环境

conda env list
conda info -e

创建新的虚拟环境

conda create -n env_name python=version

激活并进入虚拟环境

conda activate env_name

删除一个已有的虚拟环境(以下两条指令均可)

conda env remove -n env_name

分享代码的时候,同时也需要将运行环境分享给大家

conda env export > env.yaml

用对方分享的YAML文件来创建一模一样的运行环境

conda env create -f env.yaml

Jupyter 运行Anaconda的虚拟环境

source activate env_name
conda install ipykernel (注意：在虚拟环境中安装ipykernel)
python -m ipykernel install --name env_name --display-name "env_name" (写入Jupyter的kernel中)
jupyter notebook

管理包
管理指定虚拟环境的包

conda install package_name -n env_name
conda install package_name
conda install pack=version (指定安装包的版本)

删除包

conda remove package_name

更新包

conda update package_name

列出所有已安装的包

conda list

搜索包

conda search package_name

2.2 使用virtualenv管理虚拟环境

pip install virtualenv

virtualenv --no-site-packages xb_test1

2.3 使用venv管理虚拟环境

# venv 不用安装，需要python3.3以上
python -m venv ./xb_test2

image-20200807105122129

3. PyTorch深度学习环境配置

3.1 Linux篇

前提是Anaconda各种环境都配置好

安装CUDA (是NVIDIA推出的用于自家GPU的并行计算框架)
- https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#pre-installation-actions
安装PyTorch
- 在官网https://pytorch.org/根据自己的系统、包管理器、语言以及CUDA版本获取安装命令，如conda install pytorch torchvision cudatoolkit=10.2 -c pytorch
安装CUDNN加速(（CUDA Deep Neural Network library）,是NVIDIA打造的针对深度神经网络的加速库，不必须)

# 卸载已有的旧版本
sudo apt-get purge cuda
sudo apt-get purge libcudnn6
sudo apt-get purge libcudnn6-dev


# 根据自己的系统版本下载
wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.0.176-1_amd64.deb
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/libcudnn7_7.0.5.15-1+cuda9.0_amd64.deb
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/libcudnn7-dev_7.0.5.15-1+cuda9.0_amd64.deb
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/libnccl2_2.1.4-1+cuda9.0_amd64.deb
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/libnccl-dev_2.1.4-1+cuda9.0_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1604_9.0.176-1_amd64.deb
sudo dpkg -i libcudnn7_7.0.5.15-1+cuda9.0_amd64.deb
sudo dpkg -i libnccl2_2.1.4-1+cuda9.0_amd64.deb
sudo dpkg -i libnccl-dev_2.1.4-1+cuda9.0_amd64.deb
sudo apt-get update
sudo apt-get install cuda=9.0.176-1
sudo apt-get install libcudnn7-dev
sudo apt-get install libnccl-dev

# 重启系统


# 修改环境变量
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

3.2 Windows篇

https://app.yinxiang.com/fx/25e4c22d-f868-486e-9208-e77920e287c7