sqoop命令

本文是基于hive-1.4.6文档

sqoop从rdbms导数据到hdfs

1. 连接数据库
   sqoop import --connect jdbc:mysql://database_host/database_name
   使用用户名和密码连接
   sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword
2. 选择要导入的数据，包括导入的表，要导入的列
   --table table_name指定要导入的表。默认情况下会选择表中的所有列。
   --columns "col1,col2,...,"，选择要导入的列。
   --where condition 选择满足condition的行导入。
3. 也可以指定一个查询语句，以这个查询语句的结果作为导入的数据：
   --query 'select xxx from xxx where $CONDITION'
where $CONDITION不是必须的，除非当需要sqoop并行的导入查询语句的结果时，sqoop会根据--split-by指定的列分区，然后将$CONDITION 替换为分区条件。
   使用了where $CONDITION就意味着必须使用--split-by
4. 并行导入
   sqoop通过运行map-reduce完成数据导入，sqoop需要知道：1. 如何划分mr任务(即没个任务负责导入哪些数据,)；2. 任务并行度.
   • -m num_map 指定任务并行度为num_map，也就是map任务的个数
   • --split-by col_name, 划分mr任务，当指定--split-by时，sqoop会运行select min(col_name), max(col_name) from <table name>来确定col_name范围，返回根据-m选项值平均划分这个范围，作为每个mr任务负责数据范围，
   • 没有指定--split-by时，会根据主键划分
   • 没有主键又没有--split-by时，任务就不能并行的运行，此时必须指定-m 1或者--autoreset-to-one-mapper只运行一个map任务。
5. 控制从rdbms导入数据时事务隔离级别
   sqoop导入数据应该是通过查询语句从rdbms中获取数据，默认的隔离级别是read-commit, 通过--relaxed-isolation将隔离级别降至read-uncommited.
6. 设置输出行格式
   sqoop从rdbms导入然后输出到hdfs上普通的text文件时，总是需要特定分隔符确定rdbms中的一行，以及分隔符确定列。mysql默认是'\n'分割行，','分割列。这种分割方式在数据库列中存在'\n'或者'，'时会出错。
   通过如下选项避免：
   • --enclosed-by <char> 用来包围列的，比如：

   // 假设下面字符串是数据库表中三列，用|隔开每列
   this is a test, must be in one column | 1 | test
   // --enclosed-by '"'，用引号包围每列，假设输出hdfs文件以，分割列
   "this is a test, must be in one column", "1", "test"

• --escaped-by <char>
  配合上面的一起用，如果列中有字符和enclosed-by指定的一样，使用es
  caped-by，比如：

  // 假设下面字符串是数据库表中三列，用|隔开每列
   this is a test ", must be in one column   |  1  |  test 
 // --enclosed-by '\"' --escaped-by '\\'，用引号包围每列，假设输出hdfs文件以，分割列
  "this is a test \", must be in one column", "1", "test"
   ```
- --fields-terminated-by <char>
 指定域分割符，也就是输出到hdfs text文件时分割用的，默认 ','
- --lines-terminated-by <char>
  行分割符，rdbms中一行对应到hdfs text文件中一行，指定行分割符，默认'\n'

## 增量导入
 增量导入有两种模式：1. 导入新加到数据库中的数据；2. 导入修改的数据。
 无论哪种模式都需一个比较基准判断什么数据是新加的（比如大于某个id的都是新加的），或者什么数据是修改的（大于某个时间都是新修改的）。
- `--check-column col` 用于判断的列，检查这个列的值并和基准比较判断是否要被增量导入。
-  `--incremental mode` mode可选：1. append, 只导入新加的数据；2. lastmodified，导入更新的数据。
-  `--last-value`,判断基准，对于append，它可能是整型的id值，大于该id的导入，对于lasmodified它可能是时间戳。

##sqoop从rdbms导入到hive
1. 使用`sqoop import  --hive-import ...`
     目标hive表的名字默认和--table中名字一样。
2. `--hive-overwrite`会在目标hive存在是丢弃其中所有数据。
3. `--create-hive-table `会在目标hive不存在是创建，存在会抛异常
4. `--hive-home path/to/your/hive_home`sqoop会创建hive表，设置hive home，sqoop会使用HIVE_HOME/bin/hive命令
5. 当hive使用文本格式存储数据时，默认的行分隔符为'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果数据库表中列数据中包含这些hive默认分割符，显然存储的数据在hive解析时会出错。
  - --hive-drop-import-delims , 用于import时丢弃rdbms中这个字段丢弃。
  -  --hive-delims-replacement, 用于import时将rdbms中这些分隔符字段替换成另外的。
6. 关与数据库中的列为NULL的字段，默认sqoop会使用字符串"null"表示，而HIVE中NULL使用\N表示，显然使用HIVE SQL ‘is null‘判断会出错。
  - --null-string '\\N'， 用于import时将rdbms中的NULL替换成HIVE使用的'\\N', 这个选项用于rdbms中的string类型的列。
  -  --null-non-string '\\N'，和上面作用一样，设置非string列
  -  --input-null-string，--input-null-non-string,用于从hdfs导出到rdbms时，设置rdbms的null值
7. --hive-partition-key par-key，--hive-partition-value par-value，将数据导到指定的HIVE表分区， hive-partition-key设置成hive表的分区列，hive-partition-value设置成该列的值。sqoop应该会运行:
    `load data inpath hdfs_path into table table_name partition(par-key=par-value)`