Linux下Hadoop的环境配置

下定决心要往大数据这个坑跳了，原本准备Python一条道走到黑的，但是在看Hive，Spark等资料的时候基本都是Java的，没办法开搞吧。

首先从安装jdk开始；信心满满打开Java官网，wget http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，各种点击接受同意，瞬间下载完成，什么情况，几百兆的东东在几秒完成，什么时候我的网速这么好了...打开下载好的JDK一看，wo ca，才5kb，顿时心中一万只草泥马蹦腾而过...什么鬼，什么时候下载个jdk都这么复杂了，再来一次，依旧还是5kb，就在尝试了重新各种链接版本下载十几次之后，突然好像恢复正常了，就在得意快要下载好的时候，在下载至99.99%的时候，网速0b/s，猜中了开头没有猜中结尾，这不是打击我的学习热情嘛...

纵里寻他千百度，终于在一个角落里发现了这么一句话，下载jdk要带cookie，what？？？这是搞事情吗,才开始第一步就来个下马威...,废话太多，贴上解决方案：

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" url

# url为加载的jdk对应版本的网址链接

下载好之后就是开始安装啦:

解压：tar -zxvf tar -zxvf jdk-8u171-linux-x64.tar.gz(压缩包名称)

将解压好的文件放置你想要安装的位置：mv jdk1.8.0_171/  目标位置    此步骤随意..

配置环境变量： vim /etc/profile 在里面添加以下代码：

JAVA_HOME= ****   # 实际安转jdk的目录

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

:wq 保存之后更新：  source /etc/profile 

检验是否安装成功： Java -version 

安装成功JDK之后，接下来就是对Hadoop的安装，在此选择的Hadoop版本是2.9稳定版；

下载地址：https://archive.apache.org/dist/hadoop/common/stable2/

将下载的进行解压安装， tar -zxvf hadoop-2.9.1.tar.gz; 新建一个文件夹，将解压好的文件放入其中；

之后，需要对hadoop中etc目录下的几个文件进行修改，具体配置可参考：

https://www.onexing.cn/detail/12/

https://blog.csdn.net/thinkpadshi/article/details/45720405

PS：如果在配置hadoop环境使用的主机名称，必须在配置hadoop之前配置好对应的hostname，所处目录在 /etc/hosts；之后查看 vim hadoop/etc/salves 中的hostname配置信息；

在配置成功之后，又重新出现了一个比较烦人的问题，那就是启动Hadoop期间，需要输入多次密码，如何解决这个问题，预知解决方案，请看：https://www.jianshu.com/p/dbb84541e89b