Sqoop工具从hive导出数据到MySQL踩坑记
2019-05-17 本文已影响0人
鹅鹅鹅_
这两天有一个需求如文章题目所示，要把之前从mysql数据库导出到hive上的数据再反向操作导到mysql，具体用途就是生产mysql数据库会备份到hive，然后想通过hive把生产数据导入到测试环境。
sqoop我就不具体介绍了，直接上命令
sqoop export \
--driver com.mysql.jdbc.Driver \
--connect jdbc:mysql://10.2.123.115:3306/local4gome?characterEncoding=UTF-8 \
--table t_replenishment \
--username root \
--password 'esns' \
--fields-terminated-by '\0002' \
--export-dir /stage/supplycenter/gyl/t_replenishment_cb_biz/20190516
其他的没啥好说的，不懂的可以google。这里主要分享一个坑：
ERROR tool.ExportTool: Error during export:
Export job failed!
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
从命令行执行输出日志根本看不出具体的原因，这个时候需要首先到hadoop任务平台查看任务详细日志
image.png
Caused by: java.lang.RuntimeException: Can't parse input data: '1��201903�2��R17�相机��00383�尼康���xietianxu�2019-03-21 16:53:43���liangchen�2019-03-21 17:23:08����1��SY00, QD00������1�COMPLETED�SUB_ORG�3C事业部�3C事业部�'
at t_buying_process.__loadFromFields(t_buying_process.java:2030)
at t_buying_process.parse(t_buying_process.java:1668)
at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:89)
... 10 more
Caused by: java.lang.NumberFormatException: For input string: "1��201903�2��R17�相机��00383�尼康���xietianxu�2019-03-21 16:53:43���liangchen�2019-03-21 17:23:08����1��SY00, QD00������1�COMPLETED�SUB_ORG�3C事业部�3C事业部�"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Integer.parseInt(Integer.java:580)
at java.lang.Integer.valueOf(Integer.java:766)
at t_buying_process.__loadFromFields(t_buying_process.java:1721)
从java.lang.NumberFormatException: For input string这句异常可以看出是分割字段错误，将很多字段识别成了一个字段，以至解析第一个int类型的id字段报错。
这个时候我们需要确定hive存在hdfs文件中的每行的字段分隔符到底是什么。
一开始使用了一个错误的方法，得到了错误的分隔符：^I（通过查ASCII码得其是9，八进制0011）
hive -e "select * from stage.t_buying_process_cb_biz limit 10" >> res
image.png
于是我在命令中使用
--fields-terminated-by '\0011' #八进制，9，即^I
当然，不出所料，失败了。我还使用过tab分隔符
--fields-terminated-by '\t'
最后，我把hdfs上的hive文件下载了下来，最终发现分隔符是^B（ASCII码是8，八进制002）
hadoop fs -get /stage/supplycenter/supply_cp/t_buying_process_cb_biz/20190516 .
image.png
于是把脚本中指定的分隔符换成了^B，最终终于成功了！结论就是一定要下载文件确定真正的字段分隔符！
--fields-terminated-by '\0002' \
哈哈，发现也可以以在线的方式查看hive文件分隔符
# 因为我这里hive存储使用了bz2的方式压缩，所以使用管道bzip2 -d进行了解压缩
hadoop fs -cat /stage/supplycenter/gyl/t_replenishment_cb_biz/20190519/dbc__13b3ae19_5ee4_4e1e_8038_b4f186292d68.bz2 | bzip2 -d | head -n 10 | cat -A
从输出可以看到，分隔符依然是^B
225483485^B^BGMZB^BR23^B00112^B000000000100019581^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
225483486^B^BGMZB^BR23^B00112^B000000000100019581^B0^B2^B0.000^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0002^B$
225483487^B^BGMZB^BR23^B00112^B000000000100019581^B0^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0002^B$
225483488^B^BGMZB^BR23^B00112^B000000000100019581^B1^B1^B^B0.000^B^B0^B0.000^B^B^B1.011^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0001^B$
225483489^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B^B0.000^B^B0^B0.000^B^B^B4.187^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
225483490^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0001^B$
225483491^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B0.000^B0.000^B^B0^B2.167^B6.000^B3^B0.293^B18.000^B10.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0002^B$
225483492^B^BGMZB^BR19^B00080^B000000000100025235^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
225483493^B^BGMZB^BR19^B00080^B000000000100025235^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0002^B$
225483494^B^BGMZB^BR19^B00080^B000000000100025235^B0^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$
补充：很遗憾，sqoop export不支持query以及where参数，import倒是支持。
以下参数命令将空串''转换为NULL存到数据库
--input-null-string ''
