CDH|Sqoop安装及配置
2018-03-19 本文已影响228人
明明德撩码
sqoop介绍
-
Sqoop:SQL-to-Hadoop
连接传统关系型数据库和Hadoop的桥梁
把关系型数据库的数据导入到Hadoop与其相关的系统(HBase和Hive)中
把数据从Hadoop系统里抽取并导出到关系型数据库里
利用MapReduce加快数据传输速度,批处理方式进行数据传输
- Sqoop1 & Sqoop2
两个不同版本,完全不兼容
版本号划分方式
Apache:1.4.x~ ,1.99.x~
Sqoop2比Sqoop1的改进
引入sqoop server,集中化管理Connector等
多种访问方式:CLI,Web UI,REST API
引入基于角色的安全机制
-
sqoop 设计
-
Sqoop 使用要点
准备条件
启动hadoop下的hdfs、yarn、historyserver基础服务。
解压
image.png
sqoop配置
- 修改配置文件
- 复制mysql连接jar包
cp /opt/sofewares/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cdh5.3.6/sqoop-1.4.5-cdh5.3.6/lib/
-
使用cloudera官方sqoop文档
地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.3.6/SqoopUserGuide.html#_example_invocations_10 -
SQOOP HELP
- 查看mysql数据中有多少数据库
bin/sqoop list-databases \
--connect jdbc:mysql://hadoop-senior.beifeng.com:3306 \
--username root \
--password 123456 \