学习大数据

第一天

• 环境的搭建
  系统：Centos7.0
  组建 Hadoop Spark Zookeeper Kafka Flume
  语言 Java/Scala

1. 安装JDK
   从Oracle管下载JDK 并且配置Java 的环境变量

    解压压缩包 并且移动到 /usr/lib 中 
    tar zvxf jdk1.8.0_201
    mv   jdk1.8.0_201 /usr/lib
    # 修改配置文件
    vi /etc/profile
   

在profile 文件末尾添加

#java env 
export JAVA_HOME=/usr/lib/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存文件后

 source /etc/profile
 验证
 java -version

1.2 配置虚拟机网络

vi /etc/hosts
#在最后添加节点名称和节点地址

关闭防火墙

service iptables stop
service ip6tables stop
service iptables status
service ip6tables status
checkconfig iptables off
checkconfig ipt6tables off
vi /etc/selinux/config
SELINUX=disable

1.3 安装配置 Hadoop
同样从官网下载hadoop 并且在本地解压

vi /etc/profile

在文件末尾添加

HADOOP_HOME=/usr/lib/hadoop
#应该为解压后Hadoop所在的位置

修改Hadoop配置文件
hdfs.xml,yarn.xml.mapper.site.xml
2.安装数据库和HIVE
2.1 安装Mysql
因为CentOS 7之后的版本yum的默认源中使用MariaDB替代原先MySQL，因此安装方式较为以往有一些改变：
安装wget

yum -y install wget

下载mysql的源：

wget [http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm]  
(http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm)

安装yum库

yum localinstall -y mysql57-community-release-el7-7.noarch.rpm

安装MySQL

yum install -y mysql-community-server

启动MySQL服务

systemctl start mysqld.service

因为MySQL5.7加强了root用户的安全性，会初始化一个随机密码，以下为查看初始随机密码的方式

grep 'temporary password' /var/log/mysqld.log

使用初始随机密码登录后MySQL会强制要求修改密码，否则无法正常使用，
（密码必须包含小写、大写字母及特殊字符，当然也有其他方法不受此限制，再次不多做描述），修改方法如下：

  SET PASSWORD = PASSWORD('your new password');
  ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
  flush privileges;

然后退出后即可用新密码登录。

远程连接授权：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'your password' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'113.201.130.51' IDENTIFIED BY 'your password' WITH GRANT OPTION;

遇到一点小问题

tip: 没有 ifconfig
ifconfig 命令适用用 GUI系统，在mini版的Centos 中我们可以使用其他命令代替

      ip addr 

IP addr

2. 当然，我们也可以通过yum 来安装 ifconfig命令

     yum install net-tools  
   

注：如果遇到错误提示 Could not resolve host: centos.ustc.edu.cn;
按此解决： https://blog.csdn.net/jasonhector/article/details/78657532