大数据零基础快速了解HBase
大数据0基础怎么学习？科多大数据带你快速了解HBase。
1. HBase介绍
Hbase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigtable中的海量数据， HBase 同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable 利用Chubby作为协同服务， HBase 利用Zookeeper作为对应。
HBase特点：
1. 大：一个表可以有数十亿行，上百万列。
2. 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
3. 面向列：面向列（族）的存储和权限控制，列（族）独立检索
4. 稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏
5. 数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳
6. 数据类型单一：Hbase中的数据都是字符串，没有类型。
2. HBase 设计模型
HBase 中的每一张表就是所谓的 BigTable。BigTable 会存储一系列的行记录，行记录有三个基本类型的定义：Row Key、Time Stamp、Column。
1. Row Key 是行在 BigTable 中的唯一标识。
2. Time Stamp 是每次数据操作对应关联的时间戳，可以看做 SVN 的版本。
3. Column 定义为< family>:< label>，通过这两部分可以指定唯一的数据的存储列，family 的定义和修改需要 对 HBase 进行类似于 DB 的 DDL 操作，而 label ，不需要定义直接可以使用，这也为动态定制列提供了一种手段 。family 另一个作用体现在物理存储优化读写操作上，同 family 的数据物理上保存的会比较临近，因此在业务设计的过程中可以利用这个特性。
3. HBase 存储架构
从HBase的架构图上可以看出，HBase中的存储包括HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等， 以下是 HBase 存储架构图:
4. Hbase 的部署安装步骤
1. 节点信息
名称
IP地址
用户名
密码
进程
master
192.168.80.130
hadoop
admin@123
HMaster
host2
192.168.80.131
hadoop
admin@123
HMaster,HRegionServer
host3
192.168.80.132
hadoop
admin@123
HRegionServer
2. 上apache管网下载HBase1.2.4压缩包
3. 解压压缩包
cd /usr/local
sudo tar -zvxf ~/下载/hbase-1.2.4-bin.tar.gz
suod chown -Rhadoophbase-1.2.4
4. 编辑hbase-env.sh文件
vim hbase-env.sh
#设置JDK路径
export JAVA_HOME=/usr/lib/jdk1.7.0_51/
#告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
5. 编辑hbase-site.xml
vi hbase-site.xml
hbase.rootdir
hdfs://hadoop-ha/hbase
hbase.master.info.port
60010
hbase.cluster.distributed
true
hbase.zookeeper.quorum
master:2181,host2:2181,host3:2181
6. 编辑regionservers
vi regionservers
host2
host3
7. 编辑backup-masters
host2
8. 将Hbase路径信息增加到环境变量中
vi ~/.bashrc
export HBASE_HOME=/usr/local/hbase-1.2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH
source ~/.bashrc
9. 将master节点上的hbase-1.2.4拷贝到其他节点的相同目
//将hbase目录拷贝到host2节点
sudo scp -r hbase-1.2.4 hadoop@host2:~/下载
ssh host2
sudo mv -r hbase-1.2.4 /usr/local
vi ~.bashrc
export HBASE_HOME=/usr/local/hbase-1.2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH
source ~/bashrc
exit
//将hbase目录拷贝到host3节点
sudo scp -r hbase-1.2.4 hadoop@host3:~/下载
ssh host3
sudo mv -r hbase-1.2.4 /usr/local
vi ~.bashrc
export HBASE_HOME=/usr/local/hbase-1.2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH
source ~/bashrc
exit
10. 启动hbase
在启动hadoop后启动hbase,在master节点上启动
start-hbase.sh
11. 在hbase中新建一个表member
--进入hbase命令行
hbase shell
--创建表'member'
create 'member','member_id','address','info'
-- 查看新建的表
list
12. Web查看Hbase信息
主Master
