Hadoop MapReduce编程:计算极值

  • 时间:
  • 浏览:0
  • 来源:uu快3APP_uu快3官方网址

Reducer的输出Value类型应该定义另兩个多多字段:最大值和最小值,原先要能在最终的输出中并肩看后同一另兩个多多国家代码对应的极值数据。亲戚亲戚亲们定义了Extremum类来代表极值,实现代码如下所示:

现在,亲戚亲戚亲们都有计算一另兩个多多最大值了(想了解怎么计算最大值,能要能参考Hadoop MapReduce编程:计算最大值),就说 计算一另兩个多多最大值和一另兩个多多最小值。实际上,实现Mapper和Reducer也是非常简单的,时候 亲戚亲戚亲们要输出结果,要能 要能区分出最大值和最小值,并并肩输出结果,这就要能 自定义个人的输出类型,以及要能 定义输出格式。

Mapper实现就说 解析一行文本数据,抽取出国家代码和成本估值,直接列出亲戚亲戚亲们实现的ExtremunGlobalCostMapper累代码,如下所示:

运行过程控制台输出内容,如下所示:

这里,一定要正确设置对应阶段的Key和Value输出类型,以及亲戚亲戚亲们定义的输出规格描述类型。另外,亲戚亲戚亲们设置了启动另兩个多多Reduce任务,最终会输出另兩个多多结果文件。

运行多多程序运行

测试数据

下面,亲戚亲戚亲们删改说明怎么去实现:

下面看运行多多程序运行 的过程:

数据格式,如下所示:

配置Job,要能 按照亲戚亲戚亲们定义的输出值类型,以及输出规格说明来进行配置,亲戚亲戚亲们实现的MapReduce多多程序运行 的配置逻辑,实现类为ExtremumCostDriver,代码如下所示:

亲戚亲戚亲们个人定义的类型要能 实现Hadoop定义的Writable接口,原先才要能实用Hadoop的序列化机制,最终将数据写入到HDFS。该接口定义了另兩个多多最好的妙招,分别对应于序列化和反序列化操作。

这人自定义类型中,封装了最大值和最小值另兩个多多字段。

上端文本数据一行一行存储,一行中有 4次责,分别表示:

各个字段之间以空格号分隔。亲戚亲戚亲们要计算的结果是,求各个国家(以国家代码标识)的成本估值的极值(最大值和最小值)。

首先,亲戚亲戚亲们应该考虑要能 实现这人内容,要能满足亲戚亲戚亲们的编程要能 。

Mapper中输入数据类型分别为:K1=>LongWritable,V1=>Text,K1表示文本文件中行偏移量,V1表示一行的文本内容;输出数据类型分别为:K2=>Text,V2=>LongWritable,K2表示亲戚亲戚亲们解挥发来的国家代码,是字符串类型,V2表示成本估算值,是一另兩个多多数字类型。

而Reducer的输入即为<K2, list>,输出亲戚亲戚亲们设计为,K3=>Text,是国家代码,V3是亲戚亲戚亲们个人定义的类型,这人类中应该中有 最大值和最小值。

另外,将会Reducer运行阶段亲戚亲戚亲们得到最终的输出,时候 是输出到HDFS中。亲戚亲戚亲们设计了输出对象的类型,时候 还要能 设计一另兩个多多用来描述输出数据的格式,其中中有 了应该怎么将最终的数据写入到HDFS中。

有关Mapper的实现,能要能参考Hadoop MapReduce编程:计算最大值,这里,为了计算极值,要能 实现如下内容:

Reducer实现都有的是很复杂化,要能 注意的是,计算出最小值和最大值以前,将它们包装进去非Hadoop定义的类型的实例中,这里是Extremum类。亲戚亲戚亲们实现的ExtremumGlobalCostReducer类,代码如下所示:

Reducer输出,实际上就说 亲戚亲戚亲们写个这人Job的输出。亲戚亲戚亲们定义了ExtremumOutputFormat类,该类描述Reducer输出规格的,让我参考Hadoop自带的TextOutputFormat类,重写自带的getRecordWriter最好的妙招,来实现亲戚亲戚亲们个人输出结果的操作。ExtremumOutputFormat类实现代码如下所示:

亲戚亲戚亲们实现的ExtremumOutputFormat类,在getRecordWriter最好的妙招中返回一另兩个多多ExtremumRecordWriter实例,这人实例就说 用来执行写入输出结果的,上端输出结果的格式就说 “国家代码最小值最大值”,各个字段时间使用TAB分隔,一共三列。

可见,结果符合预期。

编程实现

猜你喜欢

请各位高手相助!解决后追加1000分,绝不食言。FLASH和IEBOOK的问题。

换一换下载百度知道APP,抢鲜体验不得劲推荐你对你这种 回答的评价是?展开全版你这种 问题都在给分能出理 滴,你这种 问题是要给钱要能出理 滴。。。展开全版追问扫描

2020-02-25

求美国作家Pearl S. Buck简介(两三句即可)及其主要作品

获奖《生芦苇》(TheLivingReed)《北京来信》(LetterfromPeking)1935年,威廉·迪·豪威尔勋章《桥》(ABridgeforPassing)《帝国男

2020-02-25

2019阿里云双十一活动热门云服务器价格表

双十一的价格绝对是一年当中最低的,正可能性没人,什么都买车人,站长和企业主一定会取舍在这一 就让入手。都需要节省不少开销。可能性你是老用户说说,也都需要借用买车人家人,亲们

2020-02-24

周朝时期(包括春秋战国时期)的所有成语故事

展开全部扫描二维码下载展开全部本回答被前前男友采纳你对你这个回答的评价是?可选中2个 或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个间题。沉鱼落雁;一鸣惊人

2020-02-24

《倚楼听风雨》的下一句是?

下载百度知道APP,抢鲜体验倚楼听风雨,展开全部抛开名利淡,风雨可知愿?全诗是:携手归林远。换一换使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。风潜

2020-02-24