csv中科学计数法的处理

2019-03-06  本文已影响0人  cure_py

背景(situation):csv下载的文件会默认千分位符、科学计数法等对数值型数据进行格式的转化,需要将csv文件导入到hive中
冲突(complication):当订单号等被导入csv时,因为默认为数值型,科学记数法E25,无法用正常方式取消(数字太长,被隐藏掉了)。在导入hive时会因千分位符的逗号","导致错位,且在读入E25时无法自动转化为数值。如何简单正确导入呢?
疑问(question):有哪些方法可以解决
答案(answer):excel高效解决(数据量少时),shell解决(数据量很大时)

  1. excel 新建查询(千分位自动消除了,且可以选择多列)
    1)新建一个空白的excel
    2)如图,逐步选中自己需要导入的csv



    3)如图,先选中要更改格式的2列,然后选择文本,再上载



    4)可以了,复制去txt,然后上传hive
  2. excel 自文本 (千分位没有消除,需要后续消除,貌似不会选多列)
    1)新建一个空白的excel
    2)如图,逐步选中自己需要导入的csv



    3)
    4)
  3. 写shell脚本--需要君君友情援助

上一篇下一篇

猜你喜欢

热点阅读