博客
关于我
运行一个Hadoop Job所需要指定的属性
阅读量:83 次
发布时间:2019-02-26

本文共 1965 字,大约阅读时间需要 6 分钟。

Java MapReduce Job配置指南

1. Job基础属性设置

创建一个新的Job实例,并配置其基础属性。可以通过以下步骤实现:

Job job = new Job();
job.setJarByClass(YourClass.class);
job.setJobName("your_job_name");
job.setNumReduce(2); // 设置并行度

2. Map/Reduce类设置

配置Map和Reduce的类,提供默认的处理类或自定义类:

job.setMapperClass(YourMapperClass.class);
job.setReducerClass(YourReducerClass.class);

3. 输入输出格式设置

指定Job的输入和输出格式,默认为TextInputFormat和FileOutputFormat:

job.setInputFormatClass(InputFormat.class);
job.setOutputFormatClass(OutputFormat.class);

4. 输入输出路径设置

当使用文件输入或输出时,指定相应路径:

FileInputFormat.addInputPath(job, new Path("输入路径"));
FileOutputFormat.setOutputPath(job, new Path("输出路径"));

5. 输出键值类型设置

配置Map和Reduce的输出键值类型,提供四个主要类别:

// Map输出
job.setOutputKeyClass(YourKeyClass.class);
job.setOutputValueClass(YourValueClass.class);
// Reduce输出(默认与Map输出一致)

6. 运行程序

提交Job进行处理,并等待完成:

job.waitForCompletion();

示例代码

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class MaxTemperature {
public static void main(String[] args) throws Exception {
// 1. 设置Job基础属性
Job job = new Job();
job.setJarByClass(MaxTemperature.class);
job.setJobName("Max temperature");
job.setNumReduce(2);
// 2. 设置Map/Reduce类
job.setMapperClass(MaxTemperatureMapper.class);
job.setReducerClass(MaxTemperatureReducer.class);
// 3. 设置输入输出格式
job.setInputFormatClass(FileInputFormat.class);
job.setOutputFormatClass(FileOutputFormat.class);
// 4. 设置输入输出路径
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
// 5. 设置输出键值类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 6. 运行程序
System.exit(job.waitForCompletion(true) ? 1 : 0);
}
}

注意:上述示例为伪代码,实际开发中需根据需要导入相应的类和包。

转载地址:http://gqnk.baihongyu.com/

你可能感兴趣的文章
nginx net::ERR_ABORTED 403 (Forbidden)
查看>>
Nginx SSL私有证书自签,且反代80端口
查看>>
Nginx upstream性能优化
查看>>
Nginx 中解决跨域问题
查看>>
nginx 代理解决跨域
查看>>
Nginx 动静分离与负载均衡的实现
查看>>
Nginx 反向代理 MinIO 及 ruoyi-vue-pro 配置 MinIO 详解
查看>>
nginx 反向代理 转发请求时,有时好有时没反应,产生原因及解决
查看>>
Nginx 反向代理解决跨域问题
查看>>
Nginx 反向代理配置去除前缀
查看>>
nginx 后端获取真实ip
查看>>
Nginx 多端口配置和访问异常问题的排查与优化
查看>>
Nginx 如何代理转发传递真实 ip 地址?
查看>>
Nginx 学习总结(16)—— 动静分离、压缩、缓存、黑白名单、性能等内容温习
查看>>
Nginx 学习总结(17)—— 8 个免费开源 Nginx 管理系统,轻松管理 Nginx 站点配置
查看>>
Nginx 学习(一):Nginx 下载和启动
查看>>
nginx 常用指令配置总结
查看>>
Nginx 常用配置清单
查看>>
nginx 常用配置记录
查看>>
nginx 开启ssl模块 [emerg] the “ssl“ parameter requires ngx_http_ssl_module in /usr/local/nginx
查看>>