2018-06-05 HDF/NiFi introduction

External Data/Service Interactive

IV.      HDF安装与配置：

　　　官方网站有详细的安装说明。下面只列出一些我遇到的一些坑：

我安装的是HDF3.1.0 : https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.1.0/index.html

安装和部署Hortonworks 提供了丰富的说明文档和推荐的部署方案：（我只做过新版本的安装，还没涉及HDF的upgrade）

1. HDF Cluster Types and Recommendations: 这个表非常有价值，根据不同的业务规模和场景，有相应的硬件配置要求。

坑1: 最早是三台VM 4 cores +16G RAM。跑起来不太够用，主节点切换频繁，有时还会出现一些堆栈的问题。

我的建议最好6VM 8cores + 32G RAM

坑2: NiFi的节点最好是单独的，不要和其它组件共享。

HDF Cluster Type and Recommendations

 2. Production Cluster Guidelines and Hardware Sizing Recommendations 

这两项我们可以直接参考官方的文档https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.1.0/bk_planning-your-deployment/content/ch_production-cluster-guidelines.html

https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.1.0/bk_planning-your-deployment/content/ch_hardware-sizing.html

3. Installing an HDF Cluster

   参考https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.1.0/index.html#bk_installing-hdf

在线安装是最简单和舒服的途径。由于申请的是公司美国的VM，大概半天就能搞定安装。

坑：记住要装Management Pack， 不然Ambari里看不到HDF选项！

但如果是想在国内安装，由于使用Local Repository. 先下包，然后搭建本地资料库。通过Local Repository方式本地安装。比较费劲！！https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.1.0/bk_installing-hdf/content/ch_using-local-repos.html

V.     使用Ambari管理和配置NiFi Cluster