大数据一安装vm12+centos7+sftp+Xshell+h
一．安装简介项：
1．安装centos7+vm12+hadoop2.7.4+sftp5+Xshell 5（克隆后不需要考虑网络配置，它是自增长的。选用Nat方式配置网络）
2．修改hostnamehosts
3．关闭防火墙(查看firewall-cmd --state关闭systemctl stop firewalld.service)
4．创建用户zhangting赋权777
5．安装jdk配置jdk环境变量
6．设置时间同步
7．免钥配置
8．安装hadoop配置环境变量
9．Hadoop主从master slave
192.168.136.131master
192.168.136.132slave
9.设置hadoop配置文件
1)配置环境变量hadoop-env.sh
2)配置环境变量yarn-env.sh(资源调度)
3)配置核心组件core-site.xml
4)配置文件系统hdfs-site.xml
5)配置文件系统yarn-site.xml
6）配置计算框架mapred-site.xml(从模版中来复制出来修改内容)
7)在master节点配置slaves文件（将localhost修改成所有的从节点数）
10）复制到从节点
10.创建数据目录hadoopdata
11.启动hadoop
1）格式化文件系统（只能格式化一次，只在master格式，hdfs namenode -format）
2)一种方式是./start-all.sh
另一种方式是./sbin/start-dfs.sh
./sbin/start-yarn.sh
12.验证jps：
1)master
2340SecondaryNameNode
2485 ResourceManager
4166 Jps
1866 NameNode
2)slave
1725 DataNode
2431 Jps
浏览器验证：
http://192.168.136.131:50070/检查namenode和datanode是否正常
http://192.168.136.131:18088/检查Yarn是否正常
执行例子代码验证：是hadoop自带的example中的例子.
二．步骤
1.安装虚拟机
重启成功登录后:
Ifconfig是看不到信息的 用ip
addr命令查看网络配置信息
如果想用ifconfig,
1. yum search ifconfig查询ifconfig命令所在的包名
2.yum install net-tools -y安装包文件
到此centos7+vm12+网络配置完成了。
2.设置192.168.131:hostnamemaster
192.168.132: hostname slave
设置host
配置jdk
将下载好的jdk，hadoop放到zhangting目录下
我们这个是新安装的，所以不需要查看是不是有老的jdk,也因为我们这个是最小安装，所以一切应用都得自己，也不可能有jdk，在这儿就不去查了。
systemctl status chrony
yum -y install chrony
systemctl start chronyd
systemctl status chronyd
防火墙又开了，真是关不了啊
firewall-cmd --state
systemctl restart chronyd.service开防火墙
systemctl stop firewalld.service关闭防火墙
下面配置免钥配置
修改配置文件中的PubkeyAuthentication yes“#”去掉，子节点也要如此操作。
[root@master .ssh]# cat /etc/ssh/sshd_config
[root@master ~]# ssh-keygen -t dsa -P '' -f~/.ssh/id_dsa
Generating public/private dsa key pair.
Your identification has been saved in/root/.ssh/id_dsa.
Your public key has been saved in/root/.ssh/id_dsa.pub.
The key fingerprint is:
SHA256:KgBNh0/HI9hTqCC+XTut8CiWL3nr4Fi6nYQpKbeNgEsroot@master
The key's randomart image is:
+---[DSA 1024]----+
|.+.+.|
|ooo.* +|
|+..+ + .|
| o. ..|
|+. o S|
|.= + o o|
|OE* = +|
|*#.B +|
|*o@+o|
+----[SHA256]-----+
[root@master ~]# cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
[root@master ~]# scp ~/.ssh/authorized_keysslave:~/.ssh/
Slave节点上也要先生成公钥，合开到authorized_keys中，再删除id_dsa.pub文件。
将合并后的authorized_keys文件复制到master的.ssh/authorized_keys.文件中
结果：
su zhangting
密码：yanyan
下面这些操作都是在zhangting用户下操作的
[zhangting@master ~]$ tar -xvfhadoop-2.7.4.tar.gz
配置环境变量hadoop-env.sh
[zhangting@master ~]$ cd hadoop2.7.4/
[zhangting@master hadoop2.7.4]$ ls
binincludelibexecNOTICE.txtsbinsrc
etclibLICENSE.txtREADME.txtshare
[zhangting@master hadoop2.7.4]$ catetc/hadoop/hadoop-env.sh
将它export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=/home/zhangting/jdk1.8
配置环境变量yarn-env.sh yarn资源调度的使用
[zhangting@master etc]$ cd hadoop/
[zhangting@master hadoop]$ ls
capacity-scheduler.xmlkms-env.sh
configuration.xslkms-log4j.properties
container-executor.cfgkms-site.xml
core-site.xmllog4j.properties
hadoop-env.cmdmapred-env.cmd
hadoop-env.shmapred-env.sh
hadoop-metrics2.propertiesmapred-queues.xml.template
hadoop-metrics.propertiesmapred-site.xml.template
hadoop-policy.xmlslaves
hdfs-site.xmlssl-client.xml.example
httpfs-env.shssl-server.xml.example
httpfs-log4j.propertiesyarn-env.cmd
httpfs-signature.secretyarn-env.sh
httpfs-site.xmlyarn-site.xml
kms-acls.xml
[zhangting@master hadoop]$ vi yarn-env.sh
将它# exportJAVA_HOME=/home/y/libexec/jdk1.6.0/
变成
export JAVA_HOME=/home/zhangting/jdk1.8
配置核心组件core-site.xml
core-site.xml核心组件配置hadoop最核心的位置
fs.defaultFS命名空间（hdfs:）相当于windows中file://
value路径path
[zhangting@master hadoop]$ vi core-site.xml
在之间写上
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
/home/zhangting/hadoopdata
配置文件系统yarn-site.xml
yarn调度命令，启一些服务和端口
yarn.resourcemanager.address一个管理者
[zhangting@master hadoop]$ vi yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
master:18040
yarn.resourcemanager.scheduler.address
master:18030
yarn.resourcemanager.resource-tracker.address
master:18025
yarn.resourcemanager.admin.address
master:18141
yarn.resourcemanager.webapp.address
master:18088
配置计算框架mapred-site.xml
复制mapred-site-template.xml文件
[zhangting@master hadoop]$ cpmapred-site.xml.template mapred-site.xml
[zhangting@master hadoop]$ vimapred-site.xml
mapreduce.framework.name
yarn
在master节点配置slaves文件
[zhangting@master hadoop]$ vi slaves
