MapReduce —— WordCount案例

WordCount：统计一个或多个文件内每个单词的出现次数。

一般情况下，一个MapReduce程序主要包含三个部分：Map、Reduce和Drive。Map阶段主要负责将任务拆分到不同的节点上，各个MapTask是相互独立的，Reduce负责将Map阶段各个节点上的结果进行整合，Drive主要负责环境的配置信息以及连接Map和Reduce。

Map阶段

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

// map阶段
/*
    输入参数：
    KEYIN 输入数据的key类型
    VALUEIN 输入数据的value类型
    KEYOUT 输出数据的key类型
    VALUEOUT 输出数据的value类型
 */
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    Text k = new Text();
    IntWritable v = new IntWritable(1);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        // 1 获取一行
        String line = value.toString();

        // 2 切分单词
        String[] words = line.split(" ");

        // 3 循环写出
        for (String word : words) {
            k.set(word);
            context.write(k, v);
        }
    }
}

1. 所有的Map对象必须继承父类Mapper，重写map()方法。
2. Mapper的参数为四部分：输入key-value的类型和输出key-value的类型。
3. 要注意类型转换，Hadoop的类型为Text，IntWritable，需要转换为String和int。

Reduce阶段

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.Iterator;

// Reduce阶段
/*
    参数：
    KEYIN map阶段的输出key类型
    KEYOUT map阶段的输出value类型
 */
public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    IntWritable v = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

        // 1 累加求和
        int sum = 0;
        for (IntWritable value : values) {
            sum += value.get();
        }

        // 2 写出
        v.set(sum);
        context.write(key, v);
    }
}

1. 所有的Reduce对象必须继承父类Reducer，重写reduce()方法。
2. Reducer的参数分为四部分：map阶段的输出key-value类型和输出的key-value类型。
3. values中存放了每个key的所有value，根据每个key会调用reduce()统计所有的出现次数。

Driver部分

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordcountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        // 1 获取Job对象
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        // 2 设置jar存储位置
        job.setJarByClass(WordcountDriver.class);

        // 3 关联Map和Reduce类
        job.setMapperClass(WordcountMapper.class);
        job.setReducerClass(WordcountReducer.class);

        // 4 设置Map阶段输出数据的key和value类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 5 设置最终数据输出的key和value
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        // 7 提交Job
        job.waitForCompletion(true);
    }
}

1. Driver主要负责具体的配置信息。
2. 可以分为三个部分：

• 三个.class文件，分别为Driver类，Map类，Reduce类；
• 两个数据类型，Map阶段的输出key-value类型，最终输出的key-value类型；
• 一个路径：输入数据和输出数据的路径。

3. 在设置输入输出路径时一定要注意包的选择：org.apache.hadoop.mapreduce.lib.input和org.apache.hadoop.mapreduce.lib.output。
4. 在运行时给args穿参时，一定要将路径写成实际文件的父文件夹。

实际文件：e:/input/input.txt，应该写成：e:/input/。

5. 输出的文件夹不能事先存在，否则会报错。