Java MapReduce Job配置指南

1. Job基础属性设置

创建一个新的Job实例，并配置其基础属性。可以通过以下步骤实现：

Job job = new Job();
job.setJarByClass(YourClass.class);
job.setJobName("your_job_name");
job.setNumReduce(2); // 设置并行度

2. Map/Reduce类设置

配置Map和Reduce的类，提供默认的处理类或自定义类：

job.setMapperClass(YourMapperClass.class);
job.setReducerClass(YourReducerClass.class);

3. 输入输出格式设置

指定Job的输入和输出格式，默认为TextInputFormat和FileOutputFormat：

job.setInputFormatClass(InputFormat.class);
job.setOutputFormatClass(OutputFormat.class);

4. 输入输出路径设置

当使用文件输入或输出时，指定相应路径：

FileInputFormat.addInputPath(job, new Path("输入路径"));
FileOutputFormat.setOutputPath(job, new Path("输出路径"));

5. 输出键值类型设置

配置Map和Reduce的输出键值类型，提供四个主要类别：

// Map输出
job.setOutputKeyClass(YourKeyClass.class);
job.setOutputValueClass(YourValueClass.class);
// Reduce输出（默认与Map输出一致）

6. 运行程序

提交Job进行处理，并等待完成：

job.waitForCompletion();

示例代码

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class MaxTemperature {
    public static void main(String[] args) throws Exception {
        // 1. 设置Job基础属性
        Job job = new Job();
        job.setJarByClass(MaxTemperature.class);
        job.setJobName("Max temperature");
        job.setNumReduce(2);
        // 2. 设置Map/Reduce类
        job.setMapperClass(MaxTemperatureMapper.class);
        job.setReducerClass(MaxTemperatureReducer.class);
        // 3. 设置输入输出格式
        job.setInputFormatClass(FileInputFormat.class);
        job.setOutputFormatClass(FileOutputFormat.class);
        // 4. 设置输入输出路径
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // 5. 设置输出键值类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        // 6. 运行程序
        System.exit(job.waitForCompletion(true) ? 1 : 0);
    }
}