程序员

虚拟机Ubuntu配置spark、jupyter的一些问题

2020-08-05  本文已影响0人  沿哲

1. pip install 因为timeout而失败

报错信息就不具体列出了,较好的解决方法是用镜像:pip install -i https:……-U ……

1.1 pyspark安装包为例

pip install pyspark非常容易失败,用下面的语句进度条会快很多【这里设置了timeout参数大一些,成功率会高,默认的timeout是15】

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U pyspark --timeout=100(默认15)

如果上面的语句还报错,就用下面的

pip --no-cache-dir install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U pyspark --timeout=100

下图是我自己亲测成功的结果图

pyspark安装成功

配置成功java、spark、pyspark后


在ubuntu上安装jupyter

用镜像出现timeout的概率就很小

查了很多资源,都直接让用pip install jupyter要么是pip3 instal  jupyter, 可是我还是经常timeout~

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter --timeout=100

推荐下面这些我感觉比较靠谱的安装教程

配置java-jdk

spark+python+ubuntu环境配置

我按照第一个配置了java,按照第二个配置了其它的

2.安装好jupyter后终端输入jupyter notebook指令报错command not found

如果jupyter已经安装好了,那么此时这样的报错是因为没有添加环境变量

可以参照下面这个链接的第6步添加环境变量,再输入jupyter notebook就没有问题了!

ubuntu下安装jupyter notebook问题

上一篇 下一篇

猜你喜欢

热点阅读