YARN环境的搭建

2017-11-17 本文已影响310人陈_志鹏

YARN环境的搭建

搭建的简介：

搭建YARN的过程也非常的简单，因为我已经搭建过HDFS系统了整个流程只需要改配置文件就行了如果HDFS的环境没有弄好可以参考我的《HDFS环境搭建》

在Hadoop集群的NameNode配置Yarn

在Hadoop配置目录下，也就是hadoop-2.7.3/etc/hadoop
编辑一个文件叫 mapred-site.xml.template 在configuration标签中加入Yarn的配置

vim mapred-site.xml.template

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

在Hadoop集群的DataNode配置Yarn

在Hadoop配置目录下编辑一个文件叫yarn-site.xml

vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>