后端java

【phoenix-部署】Phoenix 快速开始（安装与使用）

2018-11-26  本文已影响176人  粮忆雨

不忘初心，砥砺前行 ——菜牛

Apache Phoenix在Hadoop中为低延迟应用程序支持OLTP和操作分析。

  • 具有全ACID事务功能的标准SQL和JDBC api的强大功能（注：ACID指数据库事务正确执行的四个基本要素的缩写。包含：原子性、一致性、隔离性、持久性 ）
  • 通过利用HBase作为它的备份存储，可以灵活地使用NoSQL世界中的延迟绑定、模式读取功能

Phoenix是HBase的开源SQL应用层。您可以使用标准的JDBC api而不是常规的HBase客户机api来创建表、插入数据和查询HBase数据。

一、如何安装

安装环境：centos7

1、下载解压安装

下载地址http://phoenix.apache.org/download.html

选择相应hbase的版本下载 image.png

解压安装

wget http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.1/bin/apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz
tar xvf apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz -C /opt/
ln -s /opt/apache-phoenix-4.14.1-HBase-1.1-bin/ /opt/apps/phoenix

忽视

tar: Ignoring unknown extended header keyword `SCHILY.dev'
tar: Ignoring unknown extended header keyword `SCHILY.ino'
tar: Ignoring unknown extended header keyword `SCHILY.nlink'

2、添加 phoenix-[version]-server.jar 到所有master和regionserver的lib/下，并重启hbase

scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data4:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data5:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data6:/opt/apps/hbase/lib/

3、启动phoenix

cd /opt/apps/phoenix/bin/
./sqlline.py hdc-data4,hdc-data5,hdc-data6:2181
image.png

自动生成Phoenix系统表


image.png

phoenix语法：http://phoenix.apache.org/language/index.html

3.1测试实例
create 'test','cf1', 'cf2' 

put 'test', 'key1','cf1:name','zhangsan'
put 'test', 'key1','cf1:sex','男'
put 'test', 'key1','cf1:age','20'
put 'test', 'key1','cf2:address','beijing'

put 'test', 'key2','cf1:name','lisi'
put 'test', 'key2','cf1:sex','男'
put 'test', 'key2','cf1:age','21'
put 'test', 'key2','cf2:address','tianjin'

put 'test', 'key3','cf1:name','wangwu'
put 'test', 'key3','cf1:sex','女'
put 'test', 'key3','cf1:age','19'
put 'test', 'key3','cf2:address','guangdong'
image.png

注意：无论列名还是表名有大小写区分，若为小写需要用双引号，否则默认转大写。
这里就不阐述创建table或view映射hbase的区别了。另外hbase和phoenix的数据类型映射比较苛刻，比如实例中的age若创建成INTEGER会报错，因为INTEGER要求是4byte的二进制，二age的值序列化的时候只有2byte。
具体数据类型参考 http://phoenix.apache.org/language/datatypes.html

CREATE view "test" (
     "ROW" VARCHAR primary key, 
     "cf1"."name" VARCHAR, 
     "cf1"."sex" VARCHAR, 
     "cf1"."age" VARCHAR, 
     "cf2"."address" VARCHAR       
);

select * from "test";
select avg(to_number("age")) as avg_age from "test";
结果示例： image.png
image.png

说明：2E+1等于2乘以10的1次方

CREATE table "test" (
     "ROW" VARCHAR primary key, 
     "cf1"."name" VARCHAR, 
     "cf1"."sex" VARCHAR, 
     "cf1"."age" VARCHAR, 
     "cf1"."pay" VARCHAR, 
     "cf1"."ct" VARCHAR 
) column_encoded_bytes=0;

4、常见问题(FQA)

http://phoenix.apache.org/faq.html#

Q1:由于升级或旧版本残留导致phoenix无法自动创建表
通过zookeeper客户端删除/hbase/table/SYSTEM* 开头的六张残留表信息，重新启动phoenix即可。

二、安装SQuirrel客户端

SQuirreL SQL客户端是一个图形化的Java程序，它允许您查看JDBC兼容数据库的结构、浏览表中的数据、发出SQL命令等等。

1、下载安装

官网下载：http://squirrel-sql.sourceforge.net/#overview

选择安装Windows环境下的 SQuirrel客户端 image.png

SQuirreL 客户端是基于java安装，基于这个前提当前操作系统需要安装java环境。
在cmd命令行进入squirrel-sql-<version>-install.jar存放目录。执行以下命令

java -jar squirrel-sql-3.9.0-install.jar
image.png
image.png
修改安装路径 image.png
image.png
选择需要的插件，phoenix支持兼容jdbc连接的数据库，通过以下截图可以看出支持的数据库列表。可以选择你想要安装的数据库，全部安装也不费事，所以我选择了安装所有的，然后等待安装完成 image.png image.png image.png image.png
安装完成 image.png
下一步直接默认，完成 image.png

2、配置Squirrel客户端

step1: 添加phoenix服务器安装目录下的phoenix-[version]-client.jar(即phoenix-4.14.1-HBase-1.1-client.jar)到squirrel-sql安装目录lib/下
step2: 添加驱动如下图所示

image.png

说明：
1、选择“驱动程序”添加新的驱动程序
2、填写驱动程序名称：Phoenix
3、填写驱动地址示例：jdbc:phoenix:zk1host,zk2host,zk3host:2181 ，hbase通过zookeeper连接
4、填写驱动类名：org.apache.phoenix.jdbc.PhoenixDriver
5、确定完成


image.png

3、创建连接

注意!!!
必须在 C:\Windows\System32\drivers\etc\hosts中配置ip和服务器主机名映射，且zookeeper主机IP映射的主机名一定要和服务器主机名配置的一样，否则以下步骤就会连接不成功。

image.png

说明：
1、创建好驱动后，选择别名新建连接
2、点击+号新建
3、填写连接名字(自定义)，选择驱动程序Phoenix，填写地址jdbc:phoenix:hdc-data1,hdc-data2,hdc-data3:2181,有户名密码为Phoenix服务器的登录用户和密码，可以不填留空。
4、选择自动登录，然后点击测试
5、显示连接成功，若还出现问题。进行排查或者度娘解决

再次提醒，写sql时 列名和表名去区分大小写，若要小写请用双引号括住，否则默认看成大写

image.png

三、Python Driver for Phoenix

Apache Phoenix的Python驱动程序实现了Python DB 2.0 API，通过Phoenix查询服务器访问Phoenix。该驱动程序使用Python 2.7、3.5和3.6进行了测试。

1、首先在Phoenix服务器启动python服务

./bin/queryserver.py

2、安装

way 1: 通过pip安装(方便直接)

pip install phoenixdb

way 2: 从github下载源码手动安装

cd /path/to/python-phoenix-x.y.z/
python setup.py install

3、测试实例

示例代码,注意区分大小写

import phoenixdb

with phoenixdb.connect('http://hdc-data4:8765/', autocommit=True) as connection:
    with connection.cursor() as cursor:
        cursor.execute("DROP TABLE IF EXISTS test")
        cursor.execute("CREATE TABLE test (id INTEGER PRIMARY KEY, text VARCHAR)")
        cursor.executemany("UPSERT INTO test VALUES (?, ?)", [[1, 'hello'], [2, 'world']])
        cursor.execute("SELECT * FROM test ORDER BY id")
        for row in cursor:
            print(row)
image.png
image.png
上一篇下一篇

猜你喜欢

热点阅读