分布式常用命令

Hadoop创建文件：

hadoop fs -mkdir /geoData
hadoop fs -mkdir /geoData/input

上传文件到hdfs

hadoop fs -put /opt/spark/test1.txt /geoData/input

/opt/spark/test1.txt:上传的文件路径

查看hdfs文件

hadoop fs -ls /geoData/input

删除hdfs文件/文件夹

hadoop fs -rm -r -skipTrash /geoData/input/***

解压zip文件到指定目录

unzip /opt/1.zip -d /opt/1

解压tar文件到指定目录

tar -zxvf /opt/1.tar -C /opt/1

运行Spark文件

./bin/spark-submit --master spark://master:7077 --name SpatialRetrieve-1.0-SNAPSHOT --class com.ouccloud.cgiv.SearchMain /opt/spark/testDemo/SpatialRetrieve/target/SpatialRetrieve-1.0-SNAPSHOT-jar-with-dependencies.jar hdfs://master:9000/geoData/input/windData1.TSV hdfs://master:9000/geoData/output 144

spark://master:7077 --spark 默认端口而不是网页端口
hdfs://master:9000 --hdfs默认端口而不是网页端口

运行hdfs 文件

./bin/hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output

查看hdfs运行结果

hadoop fs -cat /output/part-r-00000

HDFS下载文件

./bin/hadoop fs -get /zw/output1 /home/hadoop/output/

/zw/output1    --hdfs目录
/home/hadoop/output/   --下载节点的本地目录（linux）

查看hdfs总运行时间

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

查看网址：192.168.190.109:19888

查看tasktracker是否正常启动

hadoop job -list-active-trackers

Hadoop开启/关闭JobHistory

mr-jobhistory-daemon.sh start historyserver
mr-jobhistory-daemon.sh stop historyserver

JobHistory.png

错误name node is in safe node解决办法

bin/Hadoop dfsadmin -safemode -leave

拷贝文件

cp -r /路径A /路径B