个人总结-Sqoop
一、从rdbms导入到hdfs中
1、一 import（从rdbms导入到hdfs中）
可选参数
默认使用as-textfile文件格式，行与行之间使用逗号分割
--as-parquetfile 使用partition文件格式保存
--columns id,name 导入指定的列
--compress 启用压缩
--compression-codec org.apache.hadoop.io.compress.SnappyCodec 压缩格式
压缩后的文件如果直接加载到hive，可以正常运行（生产环境中用hive来分析mysql的数据
--delete-target-dir 删除已经存在的目标目录
--fields-terminated-by '\t' 设置分割符
--direct mysql优化，快速导入，
2、查看mysql中-的database：
sqoop list-databases \
--connect jdbc:mysql://localhost:3306 \
--username root \
--password ***** \
3、将mysql中表的数据导入到hdfs
sqoop import \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password ***** \
--table users \
--target-dir /user/sqoop/mysql/users \
--num-mappers 1
4、使用sql语句将数据导入hdfs
sqoop import \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password ***** \
--query 'select id,name from users where $CONDITIONS'\
--target-dir /user/sqoop/mysql/users_query \
--num-mappers 1
5、使用sql语句将数据导入hdfs——增量导入
有一个唯一的标识符，类似于插入时间createtime，使用where来进行区分
sqoop import \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password ***** \
--query 'select id,name from users where $CONDITIONS'\
--target-dir /user/sqoop/mysql/users_query \
--num-mappers 1 \
--incremental append \增量倒入
--check-column id \ 标识符列
--last-value 4 \上一次的最后一个 插入位置
二、export导出（文件或者hive到mysql中）
1、将hdfs文件导入mysql
sqoop export \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password ***** \
--table users \
--export-dir /user/sqoop/hdfs/users_mysql.txt \
--num-mappers 1 \
2、从mysql直接导数据到hive中
sqoop import \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password ***** \
--table users \
--delete-target-dir \
--fields-terminated-by ',' \
--num-mappers 1 \
--hive-import \
--hive-database default \
--hive-table users2
原理与之前一样，中间还是会先将数据写道hdfs上边
3、从hive中导出数据到mysql中
sqoop export \
--connect jdbc:mysql://localhost:3306/test \
--username root \
--password ***** \
--table users2 \
--export-dir /user/sqoop/hdfs/mysql \
--num-mappers 1 \
--input-fields-terminated-by ','
4、option-file使用：相当于执行脚本
执行语句：sqoop --options-file /文件位置
脚本内容：（空格变换行）
sqoop export
#这里写注释
--connect jdbc:mysql://localhost:3306/test
--username root
--password *****
--table users2
--export-dir /user/sqoop/hdfs/mysql
--num-mappers 1
--input-fields-terminated-by ','
