sqoop
Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。
Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。
导入
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--delete-target-dir \
--target-dir /sqoopresult \
--table emp --m 1
import : 执行导入
--connect : 连接数据库地址
--username : 用户名
--password : 密码
--delete-target-dir : 如果--target-dir指定目录存在, 则先进行删除
--target-dir : 指定导出路径(hdfs)
--table : 指定要导出的数据库的表名
--m : 指定要执行几个map, 如果指定为 多个, 需要配合 --split-by 使用
--split-by : 用于指定根据那个字段进行划分
--fields-terminated-by : 指定导出后字段与字段之间的分隔号, 默认为 逗号
bin/sqoop create-hive-table \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--table emp_add \
--username root \
--password hadoop \
--hive-table test.emp_add_sp
create-hive-table : 指定操作 : 创建hive的表
--hive-table : 导入到hive的那个表中(注意: 建议 库名.表名, 否则会将表放置到默认的数据库中)
--hive-import : 标识为是hive的导入
--where "city ='sec-bad'" \ 指定从关系数据库导入数据时的查询条件
--query 'select id,name,deg from emp WHERE id>1203 and $CONDITIONS' \
注意：
- 使用query sql语句来进行查找不能加参数--table ;
- 并且必须要添加where条件;是里面加where，不是外面加--where
- 并且where条件后面必须带一个$CONDITIONS 这个字符串;
- 并且这个sql语句必须用单引号，不能用双引号;
--check-column (col)
用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似。
注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时-- check-column可以去指定多个列。
--incremental (mode)
append：追加，比如对大于last-value指定的值之后的记录进行追加导入。lastmodified：最后的修改时间，追加last-value指定的日期之后的记录
--last-value (value)
指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一
--merge-key id
导出
--input-fields-terminated-by '\t'
指定文件中的分隔符
--columns
选择列并控制它们的排序。当导出数据文件和目标表字段列顺序完全一致的时候可以不写。否则以逗号为间隔选择和排列各个列。没有被包含在–columns后面列名或字段要么具备默认值，要么就允许插入空值。否则数据库会拒绝接受sqoop导出的数据，导致Sqoop作业失败
--export-dir
导出目录，在执行导出的时候，必须指定这个参数，同时需要具备--table或--call参数两者之一，--table是指的导出数据库当中对应的表，
--call
是指的某个存储过程。
--input-null-string --input-null-non-string
如果没有指定第一个参数，对于字符串类型的列来说，“NULL”这个字符串就回被翻译成空值，如果没有使用第二个参数，无论是“NULL”字符串还是说空字符串也好，对于非字符串类型的字段来说，这两个类型的空串都会被翻译成空值。比如：
--input-null-string "\\N" --input-null-non-string "\\N"
--update-key，
更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
--updatemod，
指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。指定allowinsert，更新已存在的数据记录，同时插入新纪录。实质上是一个insert & update的操作。
