hadoop(14)--Hive入门
2018-04-27 本文已影响112人
ROCK_杰哥
前面13篇主要是HDFS,MR以及Yarn,这三个也是hadoop中最重要的,接下来分享几个工具,今天这个hive其实就是一个工具,什么工具呢?是将sql语句转换成MR程序的工具,意思就是以后统计,分析的时候可以不用写MR了,可以写sql语句去统计,就像写mysql的sql一样,那么这样就很方便了,java程序员对于统计sql来说那是手到擒来。
话不多说,开始开车
首先将之前搭建的分布式集群启动,这个是前提,下载hive安装包hive官网去下载就行,解压
tar -zxvf apache-hive-2.1.1-bin.tar.gz -C app/
解压好之后,进入到bin目录,运行
./hive
启动之后,如下图:
image.png
如果报错的话,大部分原因是因为版本与hadoop不匹配,那怎么知道是否匹配呢?
image.png
官网上说的很清楚,虽然英语不行行,但是看着还是么问题的
好了,来试试sql,看有没有作用
create table t1(id int,name string);
image.png
image.png
这个怎么保存的呢?是mysql吗?不是,是derby
他在哪保存着呢?一起来看吧
image.png
这个就是hive存储元数据的地方
但是我们习惯mysql呀,这个能不能将元数据存储在mysql呢?当然可以
修改配置
[songlj@my02 conf]$ cp hive-default.xml.template hive-site.xml
[songlj@my02 conf]$ vi hive-site.xml
hive-site.xml中的内容如下:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://my02:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>
并且将mysql的驱动包当道bin下
再次启动
image.png
创建好了,看一下,是不是创建到mysql上了
image.png
入门简单吧?
好了,又得说望指正,不吝赐教!