Sqoop安装与使用

概述

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

下载解压sqoop

在以下地址下载sqoop的安装文件：
http://sqoop.apache.org/
sqoop1与sqoop2完全不兼容，1.4.6及之前的版本是sqoop1，之后的是sqoop2，这里我们安装sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz。

将压缩文件导到虚拟机：

scp sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz root@192.168.2.144:/home/

解压文件：

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ./

修改文件名：

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

环境和配置文件修改

sqoop的配置文件存放在sqoop/conf目录下：

cd sqoop/conf/

修改sqoop-env.sh文件：

cat sqoop-env-template.sh >> sqoop-env.sh
vi sqoop-env.sh

在sqoop-env.sh文件中填写如下内容：

export HADOOP_COMMON_HOME=/home/hadoop
export HADOOP_MAPRED_HOME=/home/hadoop
export HIVE_HOME=/home/hive

配置环境变量:

vim ~/.bashrc

export SQOOP_HOME=/home/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

将mysql驱动包拷贝到$SQOOP_HOME/lib。

测试

输入以下命令，测试sqoop与MySQL之间的连接是否成功:

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

如果成功，则会在屏幕中显示数据库列表。