hadoop分布式框架的配置
网络配置和主机名
为了保证以后配置分布式集群的时候IP不会变动,保证你的IP使用的是静态IP。主机名也改成一个固定的。
JAVA环境配置
因为hadoop的运行需要依赖JAVA环境,因此必须将JAVA的主目录路径配置到环境变量中去。
由于不同系统的Java安装目录不一样,我们可以使用 对应命令先查看JAVA安装目录的位置,如下是MAC环境查看JAVA主目录的地址的命令:
>>/usr/libexec/java_home -V
之后打开配置文件配置环境变量JAVA_HOME,如下是MAC环境的环境变量配置文件位置:
>>vim ~/.bash_profile
打开后需要添加环境变量JAVA_HOME,并将JAVA_HOME中bin文件夹的路径添加到PATH环境变量中:

由于这个配置文件每次开机只会启动一次,为了让其立即生效,需要执行如下命令进行激活:
>>source /.bash_profile
此时,可以运行如下命令测试JAVA环境是否安装成功:
>>java -version
安装配置Hadoop
安装好的hadoop目录下有几个比较重要的目录:
sbin:启动或停止hadoop相关服务的脚本。
bin:对hadoop相关服务(HDFS、YARN)进行操作的脚本。
etc:Hadoop的配置文件目录。
share:Hadoop的依赖jar包和文档,文档可以被删除。
lib:Hadoop的本地库(对数据库进行压缩功能的)
启动Hadoop需要先配置hadoop/etc目录下的六个配置文件:
hadoop-env.sh
这个配置文件里需要给hadoop配置JAVA环境:

core-site.xml
这个配置文件用于给hadoop配置HDFS的namenode的地址和端口号。
第二个property中配置的是hadoop运行时产生数据的存储目录。

hdfs-site.xml
这个配置文件用于给hadoop配置HDFS上数据副本(包含原数据)的数量。

mapred-site.xml
注意:在较新版的hadoop中,这个文件被命名为mapred-site.xml.template,此时需要先改变其名称。这个配置文件用于指定mapreduce编程模型运行在yarn上。

yarn-site.xml

HDFS初始化
也就是格式化HDFS中的数据。
先进入hadoop目录的bin文件夹下,找到hdfs命令文件。

在当前目录下执行以下命令:
>>./hdfs namenode -format
启动hadoop
先进入到hadoop主目录下的sbin文件夹下:

公私钥对的免密码登录
根目录下,进入.ssh文件夹,输入一下命令
>>ssh-keygen -t rsa
然后输入四个回车即得到一对公私钥匙:

>>ssh-copy-id IP地址
这个命令可以将公钥拷贝到指定IP上。
>>ssh-copy-id localhost即可将公钥拷贝到自己到本地主机上,接下来就可以在hadoop中进行免密码登录了。