HIve 配置LZO压缩

1.下载lzo源码包，然后进行编译，下载lzo的源码包地址
https://github.com/twitter/hadoop-lzo/tree/release-0.4.20
打包编译

mvn clean package

获取编译之后的jar包
1.将jar 包上传到/share/hadoop/common
scp hadoop-lzo-0.4.20.jar node02:PWD
2.修改core-site.xml 配置文件压缩方式

<property>
        <name>io.compression.codecs</name>
        <value>
                org.apache.hadoop.io.compress.GzipCodec,
                org.apache.hadoop.io.compress.DefaultCodec,
                org.apache.hadoop.io.compress.BZip2Codec,
                org.apache.hadoop.io.compress.SnappyCodec,
                com.hadoop.compression.lzo.LzoCodec,
                com.hadoop.compression.lzo.LzopCodec
        </value>
</property>

<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

scp core-site.xml node02:PWD
重启hadoop集群
配置hive 支持lzo压缩
将支持hadoop-lzo-0.4.20.jar这个jar包拷贝到hive的/lib包下面即可。
使用lzo压缩方式支持数据txt文本文件数据进行压缩，节约磁盘空间。

#创建分区表并显示支持压缩格式
CREATE TABLE ods_user_login(
plat_id            string     comment '平台id',
server_id          int        comment '区服id',
channel_id         string     comment '渠道',
user_id            string     comment '用户ID',
role_id            string     comment '角色ID',
role_name          string     comment '角色名称',
client_ip          string     comment '客户端IP',
event_time         int        comment '事件时间',
op_type            string     comment '操作类型(1:登录,-1登出)',
online_time        int        comment '在线时长(s)',
operating_system   string     comment '操作系统名称',
operating_version  string     comment '操作系统版本',
device_brand       string     comment '设备型号',
device_type        string     comment '设备品牌'
)
comment '游戏登录登出'
PARTITIONED BY(part_date date)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT 
      'com.hadoop.mapred.DeprecatedLzoTextInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

创建临时表，用于load data local inpath 临时表中

CREATE TABLE tmp_ods_user_login(
plat_id            string     comment '平台id',
server_id          int        comment '区服id',
channel_id         string     comment '渠道',
user_id            string     comment '用户ID',
role_id            string     comment '角色ID',
role_name          string     comment '角色名称',
client_ip          string     comment '客户端IP',
event_time         int        comment '事件时间',
op_type            string     comment '操作类型(1:登录,-1登出)',
online_time        int        comment '在线时长(s)',
operating_system   string     comment '操作系统名称',
operating_version  string     comment '操作系统版本',
device_brand       string     comment '设备型号',
device_type        string     comment '设备品牌'
)
comment '游戏登录登出-临时表，用于将数据通过动态分区载入ods_user_login中'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

3.将temp临时表数据insert into 正式表中，之前set 属性让支持数据压缩。

将数据通过动态分区载入ods_user_login中
set hive.exec.dynamic.partition=true; 【开启动态分区】
set hive.exec.dynamic.partition.mode=nostrict; 【动态分区模式为非严格模式】
set hive.exec.max.dynamic.partitions.pernode=1000; 【最大动态分区数量设置为1000】

# 设置输出数据格式压缩成为LZO

set hive.exec.compress.output=true;
set mapreduce.output.fileoutputformat.compress=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

#插入数据到目标表里面去
insert overwrite table ods_user_login partition(part_date)
select plat_id,server_id,channel_id,user_id,role_id,role_name,client_ip,event_time,op_type,online_time,operating_system,operating_version,device_brand,device_type,from_unixtime(event_time,'yyyy-MM-dd') as part_date from tmp_ods_user_login;

#给lzo文件建立索引：便于以后多个mapTask来对文件进行处理
hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/game_center.db/ods_user_login/

4.问题：注意，给lzo的文件建立了index索引之后，查询tmp_ods_user_login与ods_user_login表会发现，这两个表当中的数据总量count(1)不一样，因为将index索引文件也计算到总文件数当中去了，解决方法
1:删除index文件即可
2：设置属性
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
select count(1) from ods_user_login 表中只计算了没有lzo索引的数据，只包含真实数据记录数