sqoop

2017-06-23 本文已影响11人 Bottle丶Fish

一、安装

安装使用

# 解压到cdh目录
# 进入conf/sqoop-env.sh 配置环境变量 
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/cdh/hadoop-2.5.0-cdh5.3.6

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/cdh/hadoop-2.5.0-cdh5.3.6

#set the path to where bin/hbase is available
export HBASE_HOME=/home/hadoop/cdh/hive-0.13.1-cdh5.3.6

# 回到flume目录进行测试：
bin/flume-ng version
# 查看flume都有哪些命令
bin/flume-ne help

二、案例

查看MySQL数据库表

# 下载 mysql-connector-java-5.1.7-bin 放入sqoop的lib目录下，执行如下命令 
bin/sqoop list-databases \
--connetct jdbc:mysql://master:3306 \
--username root \
--password x5

导入数据到HDFS

三、架构

四、理解

五、应用场景

每日Linux

sshd为了安全，对属主的目录和文件权限有所要求。如果权限不对，则ssh的免密码登陆不生效。
用户目录权限为 755 或者 700，就是不能是77x。
.ssh目录权限一般为755或者700。
rsa_id.pub 及authorized_keys权限一般为644
rsa_id权限必须为600

yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel openssl-devel gmp-devel