Java版本代码
先是准备一个数据集，包含着已经切割好的词汇，这里我们设置文件的格式是txt格式的。文件名是WordMRDemo．txt，内容是下面简短的一句话，以空格分割开：
hello my name is spacedong welcome to the spacedong thank you
引入Hadoop的依赖包
／／这里使用的是2．6．5的依赖包，你可以使用其他版本的
＜dependency＞
＜groupId＞org．apache．hadoop＜／groupId＞
＜artifactId＞hadoop－common＜／artifactId＞
＜version＞2．6．5＜／version＞
＜／dependency＞
＜dependency＞
＜groupId＞org．apache．hadoop＜／groupId＞
＜artifactId＞hadoop－client＜／artifactId＞
＜version＞2．6．5＜／version＞
＜／dependency＞
（温馨提示：代码部分可左右滑动）
新建WordMapper．java文件，代码的作用是进行以空格的形式进行分词。
public class WordMapper extends Mapper＜LongWritable， Text， Text， IntWritable＞ ｛
＠Override
protected void map（LongWritable key， Text value， Mapper．Context context）
throws java．io．IOException， InterruptedException ｛
String line ＝ value．toString（）；
／／StringTokenizer默认按照空格来切
StringTokenizer st ＝ new StringTokenizer（line）；
while （st．hasMoreTokens（）） ｛
String world ＝ st．nextToken（）；
／／map输出
context．write（new Text（world）， new IntWritable（1））；
｝
｝
｝
新建WordReduce．java文件，作用是进行词汇的统计。
public class WordReduce extends Reducer＜Text， IntWritable， Text， IntWritable＞ ｛
＠Override
protected void reduce（Text key， Iterable＜IntWritable＞ iterator， Context context）
throws java．io．IOException ，InterruptedException ｛
int sum ＝ 0 ；
for（IntWritable i：iterator）｛
sum＋＝i．get（）；
｝
context．write（key， new IntWritable（sum））；
｝
｝
新建WordMRDemo．java文件，作用是运行Job，开始分析句子。
public class WordMRDemo ｛
public static void main（String［］ args） ｛
Configuration conf ＝ new Configuration（）；
／／设置mapper的配置，既就是hadoop／conf／mapred－site．xml的配置信息
conf．set（＂mapred．job．tracker＂， ＂hadoop：9000＂）；
try ｛
／／新建一个Job工作
Job job ＝ new Job（conf）；
／／设置运行类
job．setJarByClass（WordMRDemo．class）；
／／设置要执行的mapper类
job．setMapperClass（WordMapper．class）；
／／设置要执行的reduce类
job．setReducerClass（WordReduce．class）；
／／设置输出key的类型
job．setMapOutputKeyClass（Text．class）；
／／设置输出value的类型
job．setMapOutputValueClass（IntWritable．class）；
／／设置ruduce任务的个数，默认个数为一个（一般reduce的个数越多效率越高）
／／job．setNumReduceTasks（2）；
／／mapreduce 输入数据的文件／目录，注意，这里可以输入的是目录。
FileInputFormat．addInputPath（job， new Path（＂F：BigDataWorkPlacedatainput＂））；
／／mapreduce 执行后输出的数据目录，不能预先存在，否则会报错。
FileOutputFormat．setOutputPath（job， new Path（＂F：BigDataWorkPlacedataout＂））；
／／执行完毕退出
System．exit（job．waitForCompletion（true） ？ 0 ： 1）；
｝ catch （Exception e） ｛
e．printStackTrace（）；
｝
｝
｝
最后执行WordMRDemo．java文件，然后得到的结果是out文件夹内的内容，它长这个样子：
out的文件目录
打开part－r－00000文件的内容如下
具体的文件内容Python代码版本
新建map．py文件，进行词汇的切割。
for line in sys．stdin：
time．sleep（1000）
ss ＝ line．strip（）．split（＇ ＇）
for word in ss：
print ＇ ＇．join（［word．strip（）， ＇1＇］）
新建red．py文件，进行词汇的统计。
cur＿word ＝ None
sum ＝ 0
for line in sys．stdin：
ss ＝ line．strip（）．split（＇ ＇）
if len（ss） ！＝ 2：
continue
word， cnt ＝ ss
if cur＿word ＝＝ None：
cur＿word ＝ word
if cur＿word ！＝ word：
print ＇ ＇．join（［cur＿word， str（sum）］）
cur＿word ＝ word
sum ＝ 0
sum ＋＝ int（cnt）
print ＇ ＇．join（［cur＿word， str（sum）］）
新建run．sh文件，直接运行即可。
HADOOP＿CMD＝＂／usr／local／src／hadoop－2．6．5／bin／hadoop＂
STREAM＿JAR＿PATH＝＂／usr／local／src／hadoop－2．6．5／share／hadoop／tools／lib／hadoop－streaming－2．6．5．jar＂
INPUT＿FILE＿PATH＿1＝＂／test．txt＂
OUTPUT＿PATH＝＂／output＂
＄HADOOP＿CMD fs －rmr －skipTrash ＄OUTPUT＿PATH
＃ Step 1．
＄HADOOP＿CMD jar ＄STREAM＿JAR＿PATH
－input ＄INPUT＿FILE＿PATH＿1
－output ＄OUTPUT＿PATH
－mapper ＂python map．py＂
－reducer ＂python red．py＂
－file ．／map．py
－file ．／red．py
以上的是演示demo的核心代码，完整的代码可以上github的代码仓库上获取。
GitHub地址为：http：／／github．com／cassieeric／bigDaaNotes
以上的文章是MapReduce系列的第一篇，下篇预告是MapReduce的编程模型，敬请期待！
福利
看完后，是否对 MapReduce 有了初步的了解呢？最后送一本电子书给大家《Hadoop的技术内幕：深入解析MapReduce架构设计及实现原理》，在公众号后台回复 MapReduce 关键字即可获取。
参考资料：
Hadoop的技术内幕：深入解析MapReduce架构设计及实现原理
题图：cosmin Paduraru