运维培训总结

运维培训      in  西安

1.机架感知：

要将hadoop机架感知的功能启用，配置非常简单，在namenode所在机器的hadoop-site.xml配置文件中配置一个选项：

topology.script.file.name

/path/to/RackAware.py

这个配置选项的value指定为一个可执行程序，通常为一个脚本，该脚本接受一个参数，输出一个值。接受的参数通常为某台datanode机器的ip地

址，而输出的值通常为该ip地址对应的datanode所在的rack，例如”/rack1”。Namenode启动时，会判断该配置选项是否为空，如果

非空，则表示已经用机架感知的配置，此时namenode会根据配置寻找该脚本，并在接收到每一个datanode的heartbeat时，将该

datanode的ip地址作为参数传给该脚本运行，并将得到的输出作为该datanode所属的机架，保存到内存的一个map中。

2.zookeeper  jn    的数量为奇数台    3.5.7.9.。。。等

nn  active   为两台

3.map的数量为5000以内    reduce的数量为几百到几千

4.hadoop 配置：

a.操作系统

b.JDK

c.zookeeper

d.hdfs

core-site.xml      hdfs-site.xml mapred-site.xml yarn-site.xml

开：启动zk----启动jn----格式化----启动dfs-----启动yarn

关：反着来

5.hadooop dfsadmin -report

-safemode enter/leave/get/wait

-setBalanceBandwidth  1048576   /*带宽*/    1M

hadoop dfsadmin -setBalancerBandwidth 10485760       10M 带宽

hive-env.sh

export HIVE_CNOF_DIR=/home/hive

6.  启动zookpeeper:   $HADOOP_HOME/bin/zkServer.sh start

启动journalnode:   $HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

启动namenode:    $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

启动datanode:     $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

启动zkfc:    $HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc

启动yarn  :   $HADOOP_HOME/sbin/start-yarn.sh

先停备的，

先启动zookeeper,最后启动yarn

先停yarn，最后听zookeeper

7.系统监控

系统没问题：磁盘空间？网络负载、cpu负载、内存情况

client连接？ 日志告警与异常、安全控制（sentry）、集群相关日志

8.垃圾回收站

a。开启垃圾回收站功能：fs.trash.interval （ 默认为0 表示禁止） ，10800=3x60X60

b. 大部分设置24小时，但hdfs 保留24X2=48小时

9.zk架构

一个leader       多个server

zk问题：

连接数问题     增大连接数

内存分配不足

磁盘I/o 写问题   相应时间

其他

10.app   表示任务

11.看了西安的运维培训资料，感觉有些知识突然顿悟了

，但是还是表达不出来，为什么呢   hive  spark   mapreduce    等等  感觉自己看了很多东西，但是就是表达不出来

为什么呢    找个时间，把自己脑子里面的东西理顺，如果别人问，自己能说的清楚，多看看视频，实践，有自己的感悟，不能

光看一眼就忘掉了，要把学过的知识能够串起来，能给别人讲出来。这样才算弄清弄懂了。

感觉耳濡目染的作用还是比较大的，每天听

他们说，感觉自己也增长了很多见识，这样是积月累，慢慢就会有自己的感受了 。