hadoop mapreduce计算流程深入分析

mapper、reducer处理都是键值对,那么文件是如何转换成键值对形式输入到mapper中呢?mapper的结果集又是如何输入到reducer呢?以及reducer如何计算归并呢?本文将以wordcount为例,为您深度详细展现mapreduce的整个计算过程。

阅读全文 »

并归排序merge sort

一、从分治法的设计思想说起 1、什么是分治法的思想 分治法的设计思想是将原问题分解成为若干个小规模但类似于原问题的子问题…

阅读全文 »

centos下修改ssh登录端口

CentOS各发行版中SSH端口默认为22,如果正式做站或其它用途,为了提高安全性就需要修改掉默认的SSH端口号,防止被有心人穷举密码。部分VPS提供商,若您的VPS服务器SSH遭受多次的暴力破解,可能会遭到罚款或临时终止服务,所以修改SSH的默认端口是有必要的。

阅读全文 »

求知成瘾,却无作品

求知欲似乎是人们的本能,尤其「好学」这个词被定义成天生的褒义之后,他人习惯性地会对好学的人大加赞赏,好学者亦会视自己强烈的求知欲弥足珍贵。当一些好学者碰到金融,科技,人文,社会这些「靓丽」的词汇时,依靠从小的信条『知识就是力量』判断:海纳百川,学了没错。于是,伴随着知识和见识增长带来的优越感和满足感,好学者充分利用时间涉更广的猎,读更多的书,翻更丰富的杂志。

阅读全文 »