Sqoop往hive中导入导出数据的常用命令
一、导入hive的相关参数
sqoop help import可以拿到这些参数
二、导入数据常用命令
sqoop import \
--connect 'jdbc:mysql://192.168.228.128:3306/ruozedata?autoReconnect=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8' \
--username root \
--password root \
--table sqoop_test \
--mapreduce-job-name mysql2hive \
--columns "name,age,sex" \
--fields-terminated-by '|' \
--null-string '' \
--null-non-string '0' \
--where 'id > 2' \
--target-dir /user/hadoop/sqoop_test_2_hive \
--delete-target-dir \
--hive-database sqoop \
--hive-table sqoop_test_from_mysql \
--hive-import \
-m 1
注意点：
可能出现以下报错信息
错误提示是HIVE_CONF_DIR没有正确设置，但其实是需要将hive目录下的lib目录下的所有jar包加入到环境变量HADOOP_CLASSPATH中去即可解决，参考：https://community.cloudera.com/t5/Support-Questions/Error-with-quot-Make-sure-HIVE-CONF-DIR-is-set-correctly/m-p/37865
[hadoop@hadoop ~]$ echo -e '# HADOOP_CLASSPATH\nexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*' >> ~/.bashrc
[hadoop@hadoop ~]$ source ~/.bashrc
没有将hive的lib下的jar包加入到HADOOP_CLASSPATH 中会报这个错
三、导出hive数据到mysql
这个与导出命令一致，参见https://www.jianshu.com/p/ce33543e533c
