分类:Hadoop

hadoop mapreduce计算流程深入分析

mapper、reducer处理都是键值对,那么文件是如何转换成键值对形式输入到mapper中呢?mapper的结果集又是如何输入到reducer呢?以及reducer如何计算归并呢?本文将以wordcount为例,为您深度详细展现mapreduce的整个计算过程。

阅读全文 »