sqoop导入数据
1、从pgsql中导出整张表到hdfs上
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
--target-dir /sqoop/cities \
-m 1
执行结果：
注意事项：
1、目标文件夹必须是不存在的
2、由于sqoop传输数据时默认采用4个map任务，-m x 表示使用x个map任务处理，有几个任务就会在HDFS的执行结果上有几个part-m文件
3、这里 -m 1 是由于传输的数据表没有设置主键，而sqoop默认采用主键字段进行拆分来达到并行任务的目的（默认采用4个map任务）。此时，既可以手动设置拆分字段，也可以将 -m 的值设为1。
4、--target-dir 该参数制定了文件输出到HDFS上的路径，同时还可以缺省该参数，该参数缺省时，问价将会输出到HDFS上当前用户的home目录当中，例如/user/root/。
5、在指定目标路径的参数中还有一个 --warehouse-dir 用来指定目标文件父目录
手动设置拆分字段例子如下：
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
--target-dir /sqoop/cities \
--split-by id \
-m 4
执行结果如下：
此处只有三个文件是由于表中只有3条数据。。。
--target-dir 参数缺省的情况：
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1
执行结果：
--warehouse-dir 指定输出文件夹的父目录：
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
--warehouse-dir /sqoop/ \
-m 1
执行结果：
2、从pgsql上导出数据表的部分数据到HDFS
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
--where "country = 'USA'" \
-m 1
执行结果：
3、保护密码不暴露的三种方式：
使用 -P 参数，从标准输入读取密码：
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--table cities \
-m 1 \
-P
执行效果：
将密码保存到文件当中，使用参数 --passwrod-file 来读取密码文件：
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--table cities \
-m 1 \
--password-file file:///home/root/password.file
别名模式（基于HDFS和基于本地两种模式）
sqoop 1.4.5和hadoop 2.6.0以及之后的版本才支持
HDFS：
hadoop credential create pgsql.pwd.alias -provider jceks://hdfs/user/password/pgsql.pwd.jceks
sqoop import \
-Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/pgsql.pwd.jceks \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password-alias pgsql.pwd.alias \
--table cities \
-m 1
本地模式：
4、两种二进制格式文件存储
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--as-sequencefile
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--as-avrodatafile
5、在传输过程中对数据进行压缩
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--compress
执行结果:
默认压缩格式为Gzip
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--compression-codec org.apache.hadoop.io.compress.BZip2Codec
sqoop可以使用hadoop支持的任何压缩格式，但hadoop不支持的压缩格式，sqoop无法使用
Not Splittable压缩格式，不能利用hadoop的并行性能
6、如何加快传输数据
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--direct
直连模式，传输速度更快，但是目前只有mysql和pgsql支持，而且据说HBase也不支持这种模式，反正限制比较多，具体情况大家可以亲身实践下
7、覆盖默认的数据映射类型
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--map-column-java id=Long
数据库字段在生成的java文件中会映射为各种属性，且默认的数据类型与数据库类型保持对应，比如数据库中某字段的类型为bigint，则在Java文件中的数据类型为long型，通过这个属性，可以改变数据库字段在java中映射的数据类型，格式如：–map-column-java DB_ID=String,id=Integer
8、导入数据中空值的处理
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table cities \
-m 1 \
--null-string '\\N' \
--null-non-string '\\N'
sqoop提供了--null-string来处理字符类型的空值，提供了--null-non-string来处理非字符类型的空值。值得注意的是，这两个参数可以让你用任意的值去替换空值。
另外，export导出数据则使用另外的参数来处理空值
9、一次性传输数据库中所有表
sqoop import-all-tables \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres
-m 1
传输除指定表之外的所有表：
sqoop import-all-tables \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--exclude-tables cities,countries \
-m 1
10、只导入新数据
sqoop import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table users \
--incremental append \
--check-column id \
--last-value 1
11、pg数据表更新后同步导入hdfs
创建同步更新job（需要输入密码）：
sqoop job \
--create users \
-- \
import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password postgres \
--table users \
--incremental append \
--check-column id \
--last-value 0
执行job进行数据更新导入：
sqoop job --exec users
查看目前创建的自动更新导入的job：
sqoop job --list
删除job：
sqoop job --delete visits
查看已存在job的详细信息：
sqoop job --show users
创建在执行时不需要输入密码的job：
sqoop job \
--create users \
-- \
import \
--connect jdbc:postgresql://yanls.bigdata:5432/sqoop \
--username postgres \
--password-file file:///home/root/password.file \
--table users \
--incremental append \
--check-column id \
--last-value 0
执行job:
无需输入密码，直接执行
另外一种不需要输入密码的方式（安全性较低，不推荐）：
12、
