DataAn大数据

greenplum

2018-04-13  本文已影响202人  july2993

之前工作需要了解了下greenplum记录下。

现在属于Pivotal公司的资产,2015开源,但是文档资料看这里 pivotal 的, 不要看这个这个开源主页https://greenplum.org/ 的,很多失效老旧跑不通。

目前看有什么看到特定‘商业版’才能自己安装用的, 但是在pivotal上提support 问题不会回你,简单讲就是 你给钱了吗,没有就自己解决?

简要介绍

简要介绍看这里 http://gpdb.docs.pivotal.io/540/install_guide/preinstall_concepts.html

这里:https://andreas.scherbaum.la/writings/How_we_made_Greenplum_Open_Source_-_PGConf.Russia_2016-02-05.pdf

高层次看架构图:


p1.jpg

greenplum fork PostgreSQL 修改的,每个segment可以看做一个postgre实例。

master控制一切,对外表现成一个PostgreSQL ,PostgreSQL-compatible的client都可以用,sql支持见SQL2008_support, segment实际存取数据,master只存取catalog。

install

根据这里的文档安装: http://gpdb.docs.pivotal.io/540/install_guide/install_guide.html

根据文档使用虚机在centos7.0下成功测试安装过5.4.0 master + 4 segment(全部在同一虚机下)。

gpstate 命令可以看集群状态确认

下载

安装过程需要的全部安装包可以在这里下载,需要注册下。

https://network.pivotal.io/products/pivotal-gpdb#/releases/29190

磁盘建立文件系统挂载

查看全部磁盘

parted -l

建立文件系统 (推荐xfs)

mkfs.xfs /dev/vdb

挂载, greenplum推荐挂载选项 rw,nodev,noatime,nobarrier,inode64

mount /dev/vdb /data1/

修改 /etc/fstab (机器重启才会自动挂载)

/dev/vdb /data1 xfs nodev,noatime,nobarrier,inode64 0 0

管理监控

安装pivotal greenplum command center https://gpcc.docs.pivotal.io/330/gpcc/topics/gpcc-docs.html

贴个主页:


gpcc

安装出现问题

这个gpccinstall应该是拷贝gpcc全部到全部机器的,暂时没找到解决方案,因为安装的时候都是在同一host,所以没影响。

应该也可以自己拷下相关目录解决。

[gpadmin@gptest1 ~]$ gpccinstall -f ./hostfile_exkeys
Traceback (most recent call last):
 File "/usr/local/greenplum-cc-web/./bin/gpccinstall", line 9, in <module>
   import psi.process, shutil, signal, time
ImportError: No module named psi.process

高可用

http://gpdb.docs.pivotal.io/540/admin_guide/highavail/topics/g-overview-of-high-availability-in-greenplum-database.html

master 可以部署一个 standby master, segment 部署mirror, primary-mirror一一对应。

master挂了的话需要运维使用gpactivatestandby 工具切换。

segment挂了查询会自己fail over到对应mirror, 如果没有部署mirror, 顺便挂一个segment就意味着整个服务挂了。

数据也可以使用gpcrondump 工具定时备份。

非商业版知道的限制

SQL支持情况

http://gpdb.docs.pivotal.io/540/ref_guide/feature_summary.html

http://gpdb.docs.pivotal.io/540/ref_guide/SQL2008_support.html

其它资料

https://andreas.scherbaum.la/writings/How_we_made_Greenplum_Open_Source_-_PGConf.Russia_2016-02-05.pdf

上一篇下一篇

猜你喜欢

热点阅读