hive

Sqoop工具从hive导出数据到MySQL踩坑记

2019-05-17  本文已影响0人  鹅鹅鹅_

这两天有一个需求如文章题目所示,要把之前从mysql数据库导出到hive上的数据再反向操作导到mysql,具体用途就是生产mysql数据库会备份到hive,然后想通过hive把生产数据导入到测试环境。

sqoop我就不具体介绍了,直接上命令

sqoop export \
--driver com.mysql.jdbc.Driver \
--connect jdbc:mysql://10.2.123.115:3306/local4gome?characterEncoding=UTF-8 \
--table t_replenishment \
--username root \
--password 'esns' \
--fields-terminated-by '\0002' \
--export-dir /stage/supplycenter/gyl/t_replenishment_cb_biz/20190516

其他的没啥好说的,不懂的可以google。这里主要分享一个坑:

ERROR tool.ExportTool: Error during export: 
Export job failed! 
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439) 
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) 
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80) 
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99) 
at org.apache.sqoop.Sqoop.run(Sqoop.java:147) 
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) 
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) 
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) 
at org.apache.sqoop.Sqoop.main(Sqoop.java:252) 

从命令行执行输出日志根本看不出具体的原因,这个时候需要首先到hadoop任务平台查看任务详细日志


image.png
Caused by: java.lang.RuntimeException: Can't parse input data: '1��201903�2��R17�相机��00383�尼康���xietianxu�2019-03-21 16:53:43���liangchen�2019-03-21 17:23:08����1��SY00, QD00������1�COMPLETED�SUB_ORG�3C事业部�3C事业部�'
    at t_buying_process.__loadFromFields(t_buying_process.java:2030)
    at t_buying_process.parse(t_buying_process.java:1668)
    at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:89)
    ... 10 more
Caused by: java.lang.NumberFormatException: For input string: "1��201903�2��R17�相机��00383�尼康���xietianxu�2019-03-21 16:53:43���liangchen�2019-03-21 17:23:08����1��SY00, QD00������1�COMPLETED�SUB_ORG�3C事业部�3C事业部�"
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Integer.parseInt(Integer.java:580)
    at java.lang.Integer.valueOf(Integer.java:766)
    at t_buying_process.__loadFromFields(t_buying_process.java:1721)

从java.lang.NumberFormatException: For input string这句异常可以看出是分割字段错误,将很多字段识别成了一个字段,以至解析第一个int类型的id字段报错。

这个时候我们需要确定hive存在hdfs文件中的每行的字段分隔符到底是什么。

一开始使用了一个错误的方法,得到了错误的分隔符:^I(通过查ASCII码得其是9,八进制0011)

hive -e "select * from stage.t_buying_process_cb_biz limit 10" >> res
image.png

于是我在命令中使用

--fields-terminated-by '\0011'  #八进制,9,即^I

当然,不出所料,失败了。我还使用过tab分隔符

--fields-terminated-by '\t' 

最后,我把hdfs上的hive文件下载了下来,最终发现分隔符是^B(ASCII码是8,八进制002)

hadoop fs -get /stage/supplycenter/supply_cp/t_buying_process_cb_biz/20190516 .
image.png

于是把脚本中指定的分隔符换成了^B,最终终于成功了!结论就是一定要下载文件确定真正的字段分隔符!

--fields-terminated-by '\0002' \

哈哈,发现也可以以在线的方式查看hive文件分隔符

# 因为我这里hive存储使用了bz2的方式压缩,所以使用管道bzip2 -d进行了解压缩
hadoop fs -cat /stage/supplycenter/gyl/t_replenishment_cb_biz/20190519/dbc__13b3ae19_5ee4_4e1e_8038_b4f186292d68.bz2 | bzip2 -d | head -n 10 | cat -A

从输出可以看到,分隔符依然是^B

225483485^B^BGMZB^BR23^B00112^B000000000100019581^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
225483486^B^BGMZB^BR23^B00112^B000000000100019581^B0^B2^B0.000^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0002^B$
225483487^B^BGMZB^BR23^B00112^B000000000100019581^B0^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0002^B$
225483488^B^BGMZB^BR23^B00112^B000000000100019581^B1^B1^B^B0.000^B^B0^B0.000^B^B^B1.011^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0001^B$
225483489^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B^B0.000^B^B0^B0.000^B^B^B4.187^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
225483490^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0001^B$
225483491^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B0.000^B0.000^B^B0^B2.167^B6.000^B3^B0.293^B18.000^B10.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0002^B$
225483492^B^BGMZB^BR19^B00080^B000000000100025235^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
225483493^B^BGMZB^BR19^B00080^B000000000100025235^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0002^B$
225483494^B^BGMZB^BR19^B00080^B000000000100025235^B0^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$

补充:很遗憾,sqoop export不支持query以及where参数,import倒是支持。

以下参数命令将空串''转换为NULL存到数据库

--input-null-string '' 
上一篇下一篇

猜你喜欢

热点阅读