分布式计算系统MapReduce

MapReduce

MapReduce的核心思想：分治 分而治之

MapReduce编程步骤

MapReduce原生编程有八个步骤俗称天龙八部

• map阶段的两个步骤

1. 第一步：读取文件，解析成key,value对 这里的key，value对指代的是k1 v1
2. 第二步：自定义map逻辑，接收第一步读取的k1,v1 ，转换成新的k2,v2输出

• shuffle阶段四个步骤

1. 第三步：分区 相同key的的数据发送到同一个reduce里面去，形成一个集合 这里的key指代的是k2
2. 第四步：排序 对我们的数据进行字典顺序的排列
3. 第五步：规约 主要是在map端对数据做一次聚合，减少我们输出的k2的数据量
4. 第六步：分组 将相同的数据发送到同一组里面去调用一次reduce逻辑

• reduce阶段的两个步骤

1. 第七步：自定义reduce逻辑，接收k2 v2 转换成新的k3 v3 进行输出
2. 第八步：输出 将我们reduce处理完成之后的数据进行输出
   每一个步骤都是一个class类，将八个步骤的class类组织到一起就是我们的mapreduce的程序

MapTask和ReduceTask

在MapTask当中，一个文件的切片大小使用默认值是128M，就是跟我们一个block块对应大小一样。

• MapTask运行的整个过程

1. TextInputFormat读取数据，解析成key,value对；
2. 调用map逻辑，默认是一个切片（就是一个block块）对应一个mapTask；
3. 数据写入到环形缓冲区，默认环形缓冲区的大小是100M，环形缓冲区其实就是一个数组；
4. 数据一直往环形缓冲区当中写，数据在环形缓冲区当中实现分区，排序，规约，分组等；
5. 等到数据写到环形缓冲区的80%的时候，启动溢写线程，将内存当中80M的数据，溢写到磁盘上面去；
6. 等到MapTask完成之后，磁盘上面可能存在很多的小文件，这些小文件已经做好了局部排序（每个mapTask内部的排序），分区，规约等步骤，再把这些小文件合并成一个大的文件；
7. 等待reduce阶段来拉取这个文件；

• ReduceTask运行的整个过程

1. 启动线程到MapTask那里去拷贝数据，拉取属于每一个ReduceTask自己内部的数据；
2. 数据的合并merge，拉取过来的数据进行合并，合并的过程，有可能在内存当中，有可能在磁盘当中，有可能在内存和磁盘当中，合并的时候同时要进行分组操作；
3. 调用reduce逻辑
4. 数据输出

数据的压缩

数据的压缩分为两个地方的数据压缩

1. MapTask结束之后的数据进行压缩
2. ReduceTask结束之后的数据压缩
   压缩算法首选snappy，谷歌出品的，压缩和解压缩的速率比都比较均衡，比较快，并且也不会压缩的太小，导致CPU开销比较大；

名称解释

• 分区
  相同的数据发送到同一个reduce里面去，物以类聚人以群分；
  默认使用的分区类 HashPartitioner,分区规则是按照key2 去hashCode 然后在对reduce个数取模；
  自定义分区类 extends Partitioner<k2 v2>实现自定义逻辑；
• 排序以及序列化
  使用自己的序列化方式 Writable 如果既要序列化，又要排序 ，那么就要实现WritableComparable重写 compreTo方法实现自己的逻辑；