hadoop学习笔记(转载)
2018-04-16 本文已影响0人
edwin1993
学习过程中主要参考了csdn上博主 苦水润喉 的博文。
Hadoop(十七)之MapReduce作业配置与Mapper和Reducer类
Hadoop(十六)之使用Combiner优化MapReduce
Hadoop(十一)Hadoop IO之序列化与比较功能实现详解
Hadoop(九)Hadoop IO之Compression和Codecs
Hadoop(八)Java程序访问HDFS集群中数据块与查看文件系统
Hadoop(五)搭建Hadoop客户端与Java访问HDFS集群
补充:
第二章:
第二章内容中有一些问题需要探讨。
博主在集群启动后发现节点数不够,有部分结点无法启动,做了以下修改。
但本人在实践过程中发现,主需要修改hadoop配置中的slaves文件就可以帮助集群指定结点位置。其路径为
hadoop/hadoop-2.9.0/etc/hadoop/slaves文件
其中的slaver1等名字为hosts中所指定的内容。