2024-04-08

掌握Linux平台下Hadoop，jdk的安装步骤：

下载压缩包：通过QQ邮箱，将window系统里的文件通过QQ邮箱发给自己，再在linux系统里通过QQ邮箱来下载，从而实现到将hadoop压缩包和jdk压缩包下载到Lunux系统中。

移动压缩包：在根目录下创建app和data文件，并将下载的压缩包移动到data文件中

解压缩到app文件中：通过输入tar -zxvf解压缩：

sudo tar -zxvf /data/jdk......tar.gz -C /app

JDK,hadoop的环境配置方法：

配置jdk环境变量：通过输入 vim /etc/profile

输入

从而配置java环境变量

然后输入Source 目录（/etc/profile）使环境变量生效

然后通过输入java -version来判断是否成功

配置hadoop环境变量：同样输入vim /etc/profile

输入

来配置hadoop环境变量

然后输入Source 目录（/etc/profile）使环境变量生效

然后通过输入hadoop来判断是否成功,发现不成功

配置hadoop环境文件，找到并打开

hadoop-env.sh(/app/hadoop-2.7.1/etc/hadoop/hadoop-env.sh)将JAVA_HOME=${JAVA HOME} 替换成java的安装目录

再输入hadoop时发现成功

SSH免密码登录的设置方法：

先安装ssh-serve,输入命令sudo apt-get install openssh-serve

在~/.ssh下执行：ssh-keygen

创建一个空的授权文件touch authorized_keys

将公钥的内容发送到授权文件cat id_rsa.pub >> authorized_keys

验证ssh免密码登录ssh localhost

Hadoop伪分布式安装的方法和技巧:

修改配置文件：core-site.xml,hdfs-site.xml  

在同etc的文件路径创建tmp文件和dfs文件，同时dfs文件下创建name,和data

并且修改的配置文件如下

初始化文件系统hadoop namenode -formate

遇到了错误：

ERROR:     创建的/apps/hadoop-2.7.1/tmp/currentD无法使用

at  org.apache.j…………….

说明权限不够。

解决方法：

dblab@dblab   ~$:  sudo  su

root@         ~$: sudo  chmod   -R    a+w   /app/hadoop2.7.1

root@         ~$:  exit

按照上述的步骤顺利完成

启动所有进程start-all.sh

发现权限不够，还得执行上述操作

dblab@dblab   ~$:  sudo  su

root@           ~$: sudo  chmod   -R    a+w   /app/hadoop2.7.1

root@         ~$:  exit

成功运行！

格式化完成，输入jps查看

dblab@dblab    $:  jps

NameNode

DataNode

SecondaryNameNode

Jps

Error:发现四个中少了一个，说明以上服务进程不全，是因为部分节点未格式化

解决方法：删除掉配置core-site.xml、hdfs-site.xml时创建的目录，之后通过mkdir重新创建。

删除命令：sudo   rm    -rf    /apps/hadoop-2.7.1/dfs/name

重新创建mkdir

成功！

通过浏览器查看hdfs目录

网址：localhost:50070

创建：终端窗口：hadoop  fs    -mkdir     /story

成功！