MapReduce(四)：压缩

概述

1）压缩的好处和坏处

压缩的优点：以减少磁盘IO、减少磁盘储存空间

压缩的缺点：增加CPU开销

2）压缩的原则

（1）运算密集型的job，少用压缩

（2）IO密集型的JOb，所用压缩

MR支持的压缩编码

1）压缩算法对比介绍

压缩格式	Hadoop自带？	算法	文件扩展名	是否可切片	换成压缩格式后，<br />原来的程序是否需要修改
DEFLATE	是，直接使用	DEFLATE	.deflate	否	和文本处理一样，不需要修改
Gzip	是，直接使用	DEFLATE	.gz	否	和文本处理一样，不需要修改
bzip2	是，直接使用	bzip2	.bz2	是	和文本处理一样，不需要修改
LZO	否，需要安装	LZO	.lzo	是	需要建索引，还需要指定输入格式
Snappy	是，直接使用	Snappy	.snappy	否	和文本处理一样，不需要修改

压缩方式选择

Gzip压缩

优点：压缩率比较高

缺点：不支持Split；压缩/解压缩速度一般

Bzip2压缩

优点：压缩率高；支持Split

缺点：压缩/解压缩速度慢

Lzo压缩

优点：压缩/解压缩速度比较块；支持Split

缺点：压缩率一般；想支持切片需要额外创建索引

Snappy压缩

优点：压缩和解压缩速度快

缺点：不支持Split，压缩率一般

Gzio压缩