presto的hive connector连接以及JDBC访问(
前言
presto支持hive connector，并支持连接多个hive connector，还支持kerberos相关
配置
普通配置
我们在etc目录下创建catalog目录，然后再下面创建hive.propertoes 文件，代表着我们创建了一个hive的catalog，hive.propertoes的配置如下
connector.name=hive-hadoop2
hive.metastore.uri=thrift://example.net:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
connector.name --- 这个是固定的，只要是hive的connector名字就为hive-hadoop2
然后再配置元数据服务的URL 和hadoop的core-site.xml 和 hdfs-site.xml到每一个presto节点
最后需要注意的是
由于没有kerberos认证，我们登陆hive用的用户名将会是启动presto进程的用户。如过我们想修改此，我们可以在jvm.config中添加
-DHADOOP_USER_NAME=hadoop
来将访问hive的用户改为hadoop用户
kerberos配置
kerberos相关的配置参考下面这篇文章
https://prestodb.io/docs/current/connector/hive-security.html
其实相当于多了几个配置，对于hive的配置有了解基本上看了配置就懂得了相关的含义。
- 1、krb5.conf
如果krb5.conf在/etc目录下面，那么这个可以不需要配置，如果不在，那么需要在jvm.config中显示的配置如下所示
-Djava.security.krb5.conf=/example/path/krb5.conf
- 2、应对hive metatstore 相关的kerberos配置
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=ms/_HOST@DEVTEST.BONC
hive.metastore.client.principal=test001@DEVTEST.BONC
hive.metastore.client.keytab=/opt/beh/metadata/key/test001.ketab
hive.metastore.service.principal ---- 这个是在hive-site.xml中配置的hive服务端的priciple。这里好的是，presto支持_HOST这种形式，很方便
hive.metastore.client.principal=test001@DEVTEST.BONC
hive.metastore.client.keytab=/opt/beh/metadata/key/test001.keytab
这两个就是当前presto用户的kerberos 相关信息了
- 3、hdfs相关的kerberos验证
hive.hdfs.authentication.type=KERBEROS
#hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=test001@DEVTEST.BONC
hive.hdfs.presto.keytab=/opt/beh/metadata/key/test001.keytab
hive.hdfs.impersonation.enabled=true ------------------这个配置我先注释了，具体还没有搞懂，因为我发现注释了他对于我后续测试和验证没有影响，这个后续再说吧。
hive.hdfs.presto.principal=test001@DEVTEST.BONC
hive.hdfs.presto.keytab=/opt/beh/metadata/key/test001.keytab
这两个就是当前presto用户的kerberos 相关信息了
最后说一句，keytab文件必须在每个节点分发，在相同的位置，而且有正确的权限。
最终我在hive.properties里面的配置如下
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadooptd3.novalocal:9083
hive.config.resources=/opt/beh/core/hadoop/etc/hadoop/hdfs-site.xml
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=ms/_HOST@DEVTEST.BONC
hive.metastore.client.principal=test001@DEVTEST.BONC
hive.metastore.client.keytab=/opt/beh/metadata/key/test001.ketab
hive.hdfs.authentication.type=KERBEROS
#hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=test001@DEVTEST.BONC
hive.hdfs.presto.keytab=/opt/beh/metadata/key/test001.ketab
JDBC访问
注意
不管是普通的presto的hive connector还是kerberos的hive connector，我们使用cli 和jdbc的方式是一样的，jdbc访问的URL方式也是一样的(推测应该是kerberos已经在配置文件里面配置了，所以无需在jdbc方式使用)
JDBC方式
pom配置
<dependency>
<groupId>com.facebook.presto</groupId>
<artifactId>presto-jdbc</artifactId>
<version>0.237</version>
</dependency>
没啥好说的 直接上样例代码吧
参考文档:https://prestodb.io/docs/current/installation/jdbc.html
public class PrestoJdbc {
private static String CONNECTION_URL = "jdbc:presto://****:16001/test001/test";
public static void main(String[] args) throws SQLException{
Connection connection = DriverManager.getConnection(CONNECTION_URL, "hadoop", "");
ResultSet resultSet = connection.prepareStatement("select * from deoiuytdemo").executeQuery();
while (resultSet.next()) {
String str = resultSet.getString(1);
System.out.println(str);
}
connection.close();
}
}
多租户方案探究
看官网说可以连接多个hive源，那么这么来说肯定也可以以不同的租户连接同一个hive源了。
然后我在上述test001租户下，又创建了dev001.properties 相当于创建了一个dev001的catalog
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadooptd3.novalocal:9083
hive.config.resources=/opt/beh/core/hadoop/etc/hadoop/hdfs-site.xml
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=ms/_HOST@DEVTEST.BONC
hive.metastore.client.principal=dev001@DEVTEST.BONC
hive.metastore.client.keytab=/opt/beh/metadata/key/dev001.ketab
hive.hdfs.authentication.type=KERBEROS
#hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=dev001@DEVTEST.BONC
hive.hdfs.presto.keytab=/opt/beh/metadata/key/dev001.ketab
然后使用jdbc测试，也是没问题的，相当于用dev001 租户创建和访问表。
那么这种情景就在后续提供了一种多租户方案，相当于不同的租户可以访问不同的database下的表(一般多租户方案就是一个租户对应一个hive database)，
相对来说就很方便了很多。
