hadoop的伪分布模式配置

• 文件位置在/soft/hadoop/etc/hadoop/

<!--core-site.xml-->
　　　　　　<configuration>
               <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost/</value>   
               </property>
           </configuration>

<!--hdfs-site.xml-->
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>

• 注意！！复制一份mapred-site.xml.template为mapred-site.xml，原来没有这个文件！！

<!--mapred-site.xml-->
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>

<!--yarn-site.xml-->
            <configuration>
                <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>localhost</value>
                </property>
                <!-- 指定reducer获取数据的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

• 配置SSH，目的时为了名称节点远程登陆数据节点时不用输密码，配一个无密登陆的ssh

1) 安装ssh ------sudo apt-get install ssh
2) 生成无密的密钥文件 -----ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3) 导入公钥到节点密钥库 ------cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4)试试登陆localhost，第一次询问输入yes，后面就可以免密登陆了，exit再退出localhost（伪分布式只能登陆本机lcoalhost测试）

• 配一个宿主机s100和s101的免密登陆SSH（不需要这个操作，补充的）

需要把s100的公钥文件发给s101的authorized_keys文件中，用nc指令即可。

• 格式化hdfs文件系统 hadoop namenode -format
• 启动所有进程 start-all.sh
• jps查看进程，有五个进程，如果进程不对，stop-all.sh结束所有进程后检查配置文件，然后格式化hdfs文件系统后启动
• 查看hdfs资源目录，第一次应该是没有的 hadoop fs -ls
• 创建hdfs资源目录，hadoop fs -mkdir -p /user/ubuntu/data
• 查看hdfs资源目录，hadoop fs -ls -r /
• 关机后需要重新格式化hdfs文件系统，即hadoop namenode -format,若发现进程少了，可以在/soft/hadoop/logs下查看相应进程的日志文件