Hue 导出数据到 mysql

2017-08-24  本文已影响0人  AkanaKanchi

因工作需要,要将hue上的数据导出到mysql,方便做展示。但是存储人手不足,只好自己上了。

大致流程是,在hue上建一个工作流即可,下面讲一下详细的步骤。

Step 1: 建 Workflow

example_hive_script.sql

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
create table if not exists dst.test_table
(a bigint, b bigint) partitioned by (day string);

insert overwrite table dst.test_table partition(day="${day}")

SELECT a,
       max(b),
FROM src.test_table
WHERE DAY="${day}"
GROUP BY a
ORDER BY a
example Sqoop command

export --connect jdbc:mysql://ip:port/test_db --username name --password passwd --table test_table --fields-terminated-by '\t' --update-key a --update-mode allowinsert  --export-dir /path/dst/test_table/day=${day}

Step 2: 建 mysql 数据表

mysql -u name -p -h ip -P port test_db
mysql> create table if not exists test_table(
    a bigint,
    b bigint,
    primary key(a)
);

note: mysql表要和hive的字段一致

Step 3: 建 Coordinator

直接[Create],指定Workflow,指定运行时间即可。
最后点击[Submit]。

总结

学习了一番sql简单的语句,感觉收获不少。

上一篇 下一篇

猜你喜欢

热点阅读