尚硅谷大数据技术之Sqoop

第4章 Sqoop的简单使用案例
4.1 导入数据
在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
4.1.1 RDBMS到HDFS

1. 确定Mysql服务开启正常
2. 在Mysql中新建一张表并插入一些数据
   $ mysql -uroot -p000000
   mysql> create database company;
   mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
   mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
   mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');
3. 导入数据
   （1）全部导入
   bin/sqoop import
   --connect jdbc:mysql://hadoop102:3306/company
   --username root
   --password 000000
   --target-dir /user/company
   --delete-target-dir
   --num-mappers 1
   --fields-terminated-by "\t"
   --query 'select name,sex from staff where id <=1 and CONDITIONS' in WHERE clause.
   如果query后使用的是双引号，则 bin/sqoop import
   --connect jdbc:mysql://hadoop102:3306/company
   --username root
   --password 000000
   --target-dir /user/company
   --delete-target-dir
   --num-mappers 1
   --fields-terminated-by "\t"
   --columns id,sex
   --table staff
   提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格
   （4）使用sqoop关键字筛选查询导入数据
   bin/sqoop import
   --connect jdbc:mysql://hadoop102:3306/company
   --username root
   --password 000000
   --table staff
   --num-mappers 1
   --hive-import
   --fields-terminated-by "\t"
   --hive-overwrite
   --hive-table staff_hive
   提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/atguigu/表名
   4.1.3 RDBMS到Hbase
   bin/sqoop export
   --connect jdbc:mysql://hadoop102:3306/company
   --username root
   --password 000000
   --table staff
   --num-mappers 1
   --export-dir /user/hive/warehouse/staff_hive
   --input-fields-terminated-by "\t"
   提示：Mysql中如果表不存在，不会自动创建
   4.3 脚本打包
   使用opt格式的文件打包sqoop命令，然后执行
4. 创建一个.opt文件
   touch opt/job_HDFS2RDBMS.opt
5. 编写sqoop脚本
   $ vi opt/job_HDFS2RDBMS.opt

export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
000000
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"

3. 执行该脚本
   $ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

本教程由尚硅谷教育大数据研究院出品，如需转载请注明来源，欢迎大家关注尚硅谷公众号（atguigu）了解更多。