从hdfs中传入数据到hive
2017-07-17 本文已影响35人
至极L
一、 数据准备,从hdfs上传数据到hive
1.上传数据到hdfs
首先,需要准备数据数据文件夹命名为tac,文件夹中有14个车辆的文件,将tac文件夹放在~/Downloads文件夹下,确保Hadoop集群运行的情况下,将tac文件夹上传到hdfs上。
hdfs dfs -mkdir /dbtac
hdfs dfs -put ~/Downloads/tac /dbtac
hdfs dfs -ls /dbtac/tac
image.png
hdfs的其他操作
hdfs dfs -rm -r /dbtac #删除dbtac文件夹
2.在hive上创建数据库并上传数据
hive
create database if not exists dbtac; #创建数据库
#查看数据库
use dbtac;#切换到dbtac数据库
CREATE EXTERNAL TABLE dbtac.trajectory(vme_id STRING,gps_time STRING,work_state INT,ultrasonic_station INT,limit_switch_state INT,work_deep INT,longtitude DOUBLE,latitude DOUBLE,elevation INT,speed INT, course_direction INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE ;#创建数据库
load data inpath '/dbtac/tac/*.csv' into table trajectory; #从hdfs中上传数据
select * from trajectory limit 10;
image.png
hive 其他操作
DROP TABLE IF EXISTS trajectory;