Sqoop

Sqoop是一个用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据传递的工具,传递是双向的,import和export是相对于Hadoop来说的

sqoop help如下:

展示数据库可用的库;

import:

1):从关系数据库导入到HDFS中;

默认存储就是 as-textfile --table 指定表名  --columns指定列名  --delete-target-dir 目录如果存在删除  -m maptask个数 --target-dir指定hdfs路径;

指定文件 --options-file 后面跟文件;

-e 后面跟sql语句 where $CONDITIONS是必须有的;

2):导入到Hive中

--hive-import向hive中导入数据

--create-hive-table 创建hive表

--hive-table 指定hive表

--fields-terminated-by 指定字段分隔符

3):mysql导入hbase中

--connect 指定mysql数据库连接

--username 指定连接mysql用户名

--password 指定连接mysql密码

--table 指定MySQL表

--hbase-table 指定表

--column-family 指定hbase 列族

--hbase-row-key 指定哪一列作为主键

export:

1):从hive导出到mysql:

--clolumns 指定hive表的列

--export-dir 指定hive表路径

--table 指定MySQL表,必须存在

--input-fields-terminated-by  指定hive表字段分隔符 ","逗号MySQL默认可以识别;