2018-06-14

1.来来来谈谈你们自认为零基础班hive要掌握哪些东西?

    编译 搭建 DDL DML 动态分区 静态分区 函数

2.hive的元数据我们存储在哪?数据存储在哪?

    元数据mysql 数据存储hdfs

3.udf函数临时生效和永久生效会不会?

4.sqoop是mr job?

    是

5.我们常用的是sqoop1，那么对比sqoop2，这两者区别

    1：两个不同版本，完全不兼容

    2：版本号划分方式

      Apache：1.4.x~ ，1.99.x~

    CDH：sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/

    3：Sqoop2比Sqoop1的改进

      引入sqoop server，集中化管理Connector等

        多种访问方式：CLI，Web UI，REST API

      引入基于角色的安全机制

     sqoop2 支持的导入端导出端少

6.sqoop导入，可以根据SQL导吗？

        可以

7.（拓展题）sqoop如何全量，如何每天增量导数据到hive

    用query做增量

8.提醒各位: sqoop在mysql导入到hive，在生产上，由于数据不可能那么像我们课堂规范，比如数据含有换行符这种的，那么导入到hive是不是会出问题?（默认\t 分割，\n换行符）

那么你们觉得我们该怎么办?（拓展题，自己搜搜看看）