q篇教程从用L角度出发Q全面地介绍了Hadoop Map/Reduce框架的各个方面?/p>
先决条g
请先认Hadoop被正安装、配|和正常q行中。更多信息见Q?/p>
Hadoop快速入门对初次使用者?
Hadoop集群搭徏对大规模分布式集?
概述
Hadoop Map/Reduce是一个用简易的软g框架Q基于它写出来的应用E序能够q行在由上千个商用机器组成的大型集群上，q以一U可靠容错的方式q行处理上TU别的数据集?/p>
一个Map/Reduce 作业QjobQ?通常会把输入的数据集切分q独立的数据块，?mapdQtaskQ以完全q行的方式处理它们。框架会对map的输出先q行排序Q?然后把结果输入给reduced。通常作业的输入和输出都会被存储在文gpȝ中?整个框架负责d的调度和监控Q以及重新执行已l失败的d?/p>
通常QMap/Reduce框架和分布式文gpȝ是运行在一l相同的节点上的Q也是_计算节点和存储节炚w常在一赗这U配|允许框架在那些已经存好数据的节点上高效地调度Q务，q可以整个集群的网l带宽被非常高效地利用?/p>
Map/Reduce框架׃个单独的master JobTracker 和每个集节点一个slave TaskTracker共同l成。master负责调度构成一个作业的所有Q务，q些d分布在不同的slave上，master监控它们的执行，重新执行已经p|的Q务。而slave仅负责执行由master指派的Q务?/p>
应用E序臛_应该指明输入/输出的位|（路径Q，q过实现合适的接口或抽象类提供map和reduce函数。再加上其他作业的参敎ͼ构成了作业配置Qjob configurationQ。然后，Hadoop?job client提交作业Qjar?可执行程序等Q和配置信息lJobTrackerQ后者负责分发这些Y件和配置信息lslave、调度Q务ƈ监控它们的执行，同时提供状态和诊断信息ljob-client?/p>
虽然Hadoop框架是用JavaTM实现的，但Map/Reduce应用E序则不一定要?Java来写 ?/p>
Hadoop Streaming是一U运行作业的实用工具Q它允许用户创徏和运行Q何可执行E序 Q例如：Shell工具Q来做ؓmapper和reducer?
Hadoop Pipes是一个与SWIG兼容的C++ API Q没有基于JNITM技术）Q它也可用于实现Map/Reduce应用E序?
输入与输?br>Map/Reduce框架q{?lt;key, value> 键值对上，也就是说Q?框架把作业的输入看ؓ是一l?lt;key, value> 键值对Q同样也产出一l?<key, value> 键值对做ؓ作业的输出，q两l键值对的类型可能不同?/p>
框架需要对key和value的类(classes)q行序列化操作， 因此Q这些类需要实?Writable接口?另外Qؓ了方便框架执行排序操作，keycdd?WritableComparable接口?/p>
一个Map/Reduce 作业的输入和输出cd如下所C：
(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)
例子QWordCount v1.0
在深入细节之前，让我们先看一个Map/Reduce的应用示例，以便对它们的工作方式有一个初步的认识?/p>
WordCount是一个简单的应用Q它可以计算出指定数据集中每一个单词出现的ơ数?/p>
q个应用适用?单机模式Q?伪分布式模式 ?完全分布式模?三种Hadoop安装方式?/p>
源代?br> WordCount.java
1. package org.myorg;
2.
3. import java.io.IOException;
4. import java.util.*;
5.
6. import org.apache.hadoop.fs.Path;
7. import org.apache.hadoop.conf.*;
8. import org.apache.hadoop.io.*;
9. import org.apache.hadoop.mapred.*;
10. import org.apache.hadoop.util.*;
11.
12. public class WordCount {
13.
14. public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
15. private final static IntWritable one = new IntWritable(1);
16. private Text word = new Text();
17.
18. public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
19. String line = value.toString();
20. StringTokenizer tokenizer = new StringTokenizer(line);
21. while (tokenizer.hasMoreTokens()) {
22. word.set(tokenizer.nextToken());
23. output.collect(word, one);
24. }
25. }
26. }
27.
28. public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
29. public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
30. int sum = 0;
31. while (values.hasNext()) {
32. sum += values.next().get();
33. }
34. output.collect(key, new IntWritable(sum));
35. }
36. }
37.
38. public static void main(String[] args) throws Exception {
39. JobConf conf = new JobConf(WordCount.class);
40. conf.setJobName("wordcount");
41.
42. conf.setOutputKeyClass(Text.class);
43. conf.setOutputValueClass(IntWritable.class);
44.
45. conf.setMapperClass(Map.class);
46. conf.setCombinerClass(Reduce.class);
47. conf.setReducerClass(Reduce.class);
48.
49. conf.setInputFormat(TextInputFormat.class);
50. conf.setOutputFormat(TextOutputFormat.class);
51.
52. FileInputFormat.setInputPaths(conf, new Path(args[0]));
53. FileOutputFormat.setOutputPath(conf, new Path(args[1]));
54.
55. JobClient.runJob(conf);
57. }
58. }
59.
用法
假设环境变量HADOOP_HOME对应安装时的根目录，HADOOP_VERSION对应Hadoop的当前安装版本，~译WordCount.java来创建jar包，可如下操作：
$ mkdir wordcount_classes
$ javac -classpath ${HADOOP_HOME}/hadoop-${HADOOP_VERSION}-core.jar -d wordcount_classes WordCount.java
$ jar -cvf /usr/joe/wordcount.jar -C wordcount_classes/ .
假设Q?/p>
/usr/joe/wordcount/input - 是HDFS中的输入路径
/usr/joe/wordcount/output - 是HDFS中的输出路径
用示例文本文件做入：
$ bin/hadoop dfs -ls /usr/joe/wordcount/input/
/usr/joe/wordcount/input/file01
/usr/joe/wordcount/input/file02
$ bin/hadoop dfs -cat /usr/joe/wordcount/input/file01
Hello World Bye World
$ bin/hadoop dfs -cat /usr/joe/wordcount/input/file02
Hello Hadoop Goodbye Hadoop
q行应用E序Q?/p>
$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output
输出是：
$ bin/hadoop dfs -cat /usr/joe/wordcount/output/part-00000
Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2
应用E序能够使用-files选项来指定一个由逗号分隔的\径列表，q些路径是task的当前工作目录。用选项-libjars可以向map和reduce的classpath中添加jar包。?archives选项E序可以传递档案文件做为参敎ͼq些档案文g会被解压q且在task的当前工作目录下会创Z个指向解压生成的目录的符号链接（以压~包的名字命名）?有关命o行选项的更多细节请参?Commands manual?/p>
使用-libjars?filesq行wordcount例子Q?br>hadoop jar hadoop-examples.jar wordcount -files cachefile.txt -libjars mylib.jar input output
解释
WordCount应用E序非常直截了当?/p>
Mapper(14-26?中的mapҎ(18-25?通过指定?TextInputFormat(49?一ơ处理一行。然后，它通过StringTokenizer 以空gؓ分隔W将一行切分ؓ若干tokensQ之后，输出< <word>, 1> 形式的键值对?/p>
对于CZ中的W一个输入，map输出是：
< Hello, 1>
< World, 1>
< Bye, 1>
< World, 1>
W二个输入，map输出是：
< Hello, 1>
< Hadoop, 1>
< Goodbye, 1>
< Hadoop, 1>
关于l成一个指定作业的map数目的确定，以及如何以更_的方式去控制q些mapQ我们将在教E的后箋部分学习到更多的内容?/p>
WordCountq指定了一个combiner (46?。因此，每次mapq行之后Q会对输出按照keyq行排序Q然后把输出传递给本地的combinerQ按照作业的配置与Reducer一PQ进行本地聚合?/p>
W一个map的输出是Q?br>< Bye, 1>
< Hello, 1>
< World, 2>
W二个map的输出是Q?br>< Goodbye, 1>
< Hadoop, 2>
< Hello, 1>
Reducer(28-36?中的reduceҎ(29-35? 仅是每个keyQ本例中是单词Q出现的ơ数求和?/p>
因此q个作业的输出就是：
< Bye, 1>
< Goodbye, 1>
< Hadoop, 2>
< Hello, 2>
< World, 2>
代码中的runҎ中指定了作业的几个方面， 例如Q通过命o行传递过来的输入/输出路径、key/value的类型、输?输出的格式等{JobConf中的配置信息。随后程序调用了JobClient.runJob(55?来提交作业ƈ且监控它的执行?/p>
我们在本教E的后箋部分学习更多的关于JobConfQ?JobClientQ?Tool和其他接口及c?class)?/p>
Map/Reduce - 用户界面
q部分文档ؓ用户会面的Map/Reduce框架中的各个环节提供了适当的细节。这应该会帮助用hl粒度地d现、配|和调优作业。然而，h意每个类/接口的javadoc文档提供最全面的文档；本文只是惌v到指南的作用?/p>
我们会先看看Mapper和Reducer接口。应用程序通常会通过提供map和reduceҎ来实现它们?/p>
然后Q我们会讨论其他的核心接口，其中包括Q?JobConfQJobClientQPartitionerQ?OutputCollectorQReporterQ?InputFormatQOutputFormat{等?/p>
最后，我们通过讨论框架中一些有用的功能点（例如QDistributedCacheQ?IsolationRunner{等Q来收尾?/p>
核心功能描述
应用E序通常会通过提供map和reduce来实?Mapper和Reducer接口Q它们组成作业的核心?/p>
Mapper
Mapper输入键值对(key/value pair)映射Cl中间格式的键值对集合?/p>
Map是一cd输入记录集{换ؓ中间格式记录集的独立d?q种转换的中间格式记录集不需要与输入记录集的cd一致。一个给定的输入键值对可以映射?个或多个输出键值对?/p>
Hadoop Map/Reduce框架为每一个InputSplit产生一个mapdQ而每个InputSplit是由该作业的InputFormat产生的?/p>
概括地说Q对Mapper的实现者需要重?JobConfigurable.configure(JobConf)ҎQ这个方法需要传递一个JobConf参数Q目的是完成Mapper的初始化工作。然后，框架个Q务的InputSplit中每个键值对调用一?map(WritableComparable, Writable, OutputCollector, Reporter)操作。应用程序可以通过重写Closeable.close()Ҏ来执行相应的清理工作?/p>
输出键值对不需要与输入键值对的类型一致。一个给定的输入键值对可以映射?个或多个输出键值对。通过调用 OutputCollector.collect(WritableComparable,Writable)可以攉输出的键值对?/p>
应用E序可以使用Reporter报告q度Q设定应用别的状态消息，更新CountersQ计数器Q，或者仅是表明自p行正常?/p>
框架随后会把与一个特定key兌的所有中间过E的|valueQ分成组Q然后把它们传给Reducer以出最l的l果。用户可以通过 JobConf.setOutputKeyComparatorClass(Class)来指定具体负责分l的 Comparator?/p>
Mapper的输排序后，p划分l每个Reducer。分块的L目和一个作业的reduced的数目是一L。用户可以通过实现自定义的 Partitioner来控制哪个key被分配给哪个 Reducer?/p>
用户可选择通过 JobConf.setCombinerClass(Class)指定一个combinerQ它负责对中间过E的输出q行本地的聚集，q会有助于降低从Mapper?Reducer数据传输量?/p>
q些被排好序的中间过E的输出l果保存的格式是(key-len, key, value-len, value)Q应用程序可以通过JobConf控制对这些中间结果是否进行压~以及怎么压羃Q用哪U?CompressionCodec?/p>
需要多个MapQ?br>Map的数目通常是由输入数据的大决定的Q一般就是所有输入文件的dQblockQ数?/p>
Map正常的ƈ行规模大致是每个节点QnodeQ大U?0?00个mapQ对于CPU 消耗较的mapd可以讑ֈ300个左叟뀂由于每个Q务初始化需要一定的旉Q因此，比较合理的情冉|map执行的时间至超q?分钟?/p>
q样Q如果你输入10TB的数据，每个块（blockQ的大小?28MBQ你需要大U?2,000个map来完成Q务，除非使用 setNumMapTasks(int)Q注意：q里仅仅是对框架q行了一个提C?hint)Q实际决定因素见q里Q将q个数D|得更高?/p>
Reducer
Reducer与一个key兌的一l中间数值集归约QreduceQؓ一个更的数值集?/p>
用户可以通过 JobConf.setNumReduceTasks(int)讑֮一个作业中reduced的数目?/p>
概括地说Q对Reducer的实现者需要重?JobConfigurable.configure(JobConf)ҎQ这个方法需要传递一个JobConf参数Q目的是完成Reducer的初始化工作。然后，框架为成l的输入数据中的每个<key, (list of values)>对调用一?reduce(WritableComparable, Iterator, OutputCollector, Reporter)Ҏ。之后，应用E序可以通过重写Closeable.close()来执行相应的清理工作?/p>
Reducer?个主要阶D：shuffle、sort和reduce?/p>
Shuffle
Reducer的输入就是Mapper已经排好序的输出。在q个阶段Q框枉过HTTP为每个Reducer获得所有Mapper输出中与之相关的分块?/p>
Sort
q个阶段Q框架将按照key的值对Reducer的输入进行分l?Q因Z同mapper的输Z可能会有相同的keyQ?/p>
Shuffle和Sort两个阶段是同时进行的Qmap的输Z是一边被取回一边被合ƈ的?/p>
Secondary Sort
如果需要中间过E对key的分l规则和reduce前对key的分l规则不同，那么可以通过 JobConf.setOutputValueGroupingComparator(Class)来指定一个Comparator。再加上 JobConf.setOutputKeyComparatorClass(Class)可用于控制中间过E的key如何被分l，所以结合两者可以实现按值的二次排序?/p>
Reduce
在这个阶D，框架为已分组的输入数据中的每?<key, (list of values)>对调用一?reduce(WritableComparable, Iterator, OutputCollector, Reporter)Ҏ?/p>
Reduced的输出通常是通过调用 OutputCollector.collect(WritableComparable, Writable)写入 文gpȝ的?/p>
应用E序可以使用Reporter报告q度Q设定应用程序别的状态消息，更新CountersQ计数器Q，或者仅是表明自p行正常?/p>
Reducer的输出是没有排序的?/p>
需要多个ReduceQ?br>Reduce的数目徏议是0.95?.75乘以 (<no. of nodes> * mapred.tasktracker.reduce.tasks.maximum)?/p>
?.95Q所有reduce可以在maps一完成时就立刻启动Q开始传输map的输出结果。用1.75Q速度快的节点可以在完成第一轮reduced后，可以开始第二轮Q这样可以得到比较好的负载均衡的效果?/p>
增加reduce的数目会增加整个框架的开销Q但可以改善负蝲均衡Q降低由于执行失败带来的负面影响?/p>
上述比例因子比整体数目稍一些是Zl框架中的推性Q务（speculative-tasksQ?或失败的d预留一些reduce的资源?/p>
无Reducer
如果没有归约要进行，那么讄reduced的数目ؓ零是合法的?/p>
q种情况下，mapd的输Z直接被写入由 setOutputPath(Path)指定的输\径。框架在把它们写入FileSystem之前没有对它们进行排序?/p>
Partitioner
Partitioner用于划分键值空_key spaceQ?/p>
Partitioner负责控制map输出l果key的分剌ӀKeyQ或者一个key子集Q被用于产生分区Q通常使用的是Hash函数。分区的数目与一个作业的reduced的数目是一L。因此，它控制将中间q程的keyQ也是q条记录Q应该发送给m个reduced中的哪一个来q行reduce操作?/p>
HashPartitioner是默认的 Partitioner?/p>
Reporter
Reporter是用于Map/Reduce应用E序报告q度Q设定应用别的状态消息， 更新CountersQ计数器Q的机制?/p>
Mapper和Reducer的实现可以利用Reporter 来报告进度，或者仅是表明自p行正常。在那种应用E序需要花很长旉处理个别键值对的场景中Q这U机制是很关键的Q因为框架可能会以ؓq个d时了，从而将它强行杀歅R另一个避免这U情况发生的方式是，配|参数mapred.task.timeout讄Z个够高的|或者干脆设|ؓӞ则没有超旉制了Q?/p>
应用E序可以用Reporter来更新CounterQ计数器Q?/p>
OutputCollector
OutputCollector是一个Map/Reduce框架提供的用于收?Mapper或Reducer输出数据的通用机制 Q包括中间输出结果和作业的输出结果）?/p>
Hadoop Map/Reduce框架附带了一个包含许多实用型的mapper、reducer和partitioner 的类库?/p>
作业配置
JobConf代表一个Map/Reduce作业的配|?/p>
JobConf是用户向Hadoop框架描述一个Map/Reduce作业如何执行的主要接口。框架会按照JobConf描述的信息忠实地d试完成这个作业，然而：
一些参数可能会被管理者标Cؓ finalQ这意味它们不能被更攏V?
一些作业的参数可以被直截了当地q行讄Q例如： setNumReduceTasks(int)Q，而另一些参数则与框架或者作业的其他参数之间微妙地相互媄响，q且讄h比较复杂Q例如： setNumMapTasks(int)Q?
通常QJobConf会指明Mapper、Combiner(如果有的??Partitioner、Reducer、InputFormat?OutputFormat的具体实现。JobConfq能指定一l输入文?(setInputPaths(JobConf, Path...) /addInputPath(JobConf, Path)) ?setInputPaths(JobConf, String) /addInputPaths(JobConf, String)) 以及输出文g应该写在哪儿 (setOutputPath(Path))?/p>
JobConf可选择地对作业讄一些高U选项Q例如：讄ComparatorQ?攑ֈDistributedCache上的文gQ中间结果或者作业输出结果是否需要压~以及怎么压羃Q?利用用户提供的脚?setMapDebugScript(String)/setReduceDebugScript(String)) q行调试Q作业是否允讔R防性（speculativeQQ务的执行 (setMapSpeculativeExecution(boolean))/(setReduceSpeculativeExecution(boolean)) Q每个Q务最大的试ơ数 (setMaxMapAttempts(int)/setMaxReduceAttempts(int)) Q一个作业能容忍的Q务失败的癑ֈ?(setMaxMapTaskFailuresPercent(int)/setMaxReduceTaskFailuresPercent(int)) Q等{?/p>
当然Q用戯使用 set(String, String)/get(String, String) 来设|或者取得应用程序需要的L参数。然而，DistributedCache的用是面向大规模只L据的?/p>
d的执行和环境
TaskTracker是在一个单独的jvm上以子进E的形式执行 Mapper/ReducerdQTaskQ的?/p>
子Q务会l承父TaskTracker的环境。用户可以通过JobConf中的 mapred.child.java.opts配置参数来设定子jvm上的附加选项Q例如： 通过-Djava.library.path=<> 一个非标准路径设ؓq行时的链接用以搜烦׃n库，{等。如果mapred.child.java.opts包含一个符号@taskid@Q?它会被替换成map/reduce的taskid的倹{?/p>
下面是一个包含多个参数和替换的例子，其中包括Q记录jvm GC日志Q?JVM JMX代理E序以无密码的方式启动，q样它就能连接到jconsole上，从而可以查看子q程的内存和U程Q得到线E的dumpQ还把子jvm的最大堆寸讄?12MBQ?qؓ子jvm的java.library.pathd了一个附加\径?/p>
<property>
<name>mapred.child.java.opts</name>
<value>
-Xmx512M -Djava.library.path=/home/mycompany/lib -verbose:gc -Xloggc:/tmp/@taskid@.gc
-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false
</value>
</property>
用户或管理员也可以用mapred.child.ulimit讑֮q行的子d的最大虚拟内存。mapred.child.ulimit的gQKB)为单位，q且必须大于或等?Xmx参数传给JavaVM的|否则VM会无法启动?/p>
注意Qmapred.child.java.opts只用于设|task tracker启动的子d。ؓ守护q程讄内存选项h?cluster_setup.html
${mapred.local.dir}/taskTracker/是task tracker的本地目录， 用于创徏本地~存和job。它可以指定多个目录Q跨多个磁盘）Q文件会半随机的保存到本地\径下的某个目录。当job启动Ӟtask trackerҎ配置文档创徏本地job目录Q目录结构如以下所C：
${mapred.local.dir}/taskTracker/archive/ :分布式缓存。这个目录保存本地的分布式缓存。因此本地分布式~存是在所有task和job间共享的?
${mapred.local.dir}/taskTracker/jobcache/$jobid/ : 本地job目录?
${mapred.local.dir}/taskTracker/jobcache/$jobid/work/: job指定的共享目录。各个Q务可以用这个空间做为暂存空_用于它们之间׃n文g。这个目录通过job.local.dir 参数暴露l用戗这个\径可以通过API JobConf.getJobLocalDir()来访问。它也可以被做ؓpȝ属性获得。因此，用户Q比如运行streamingQ可以调用System.getProperty("job.local.dir")获得该目录?
${mapred.local.dir}/taskTracker/jobcache/$jobid/jars/: 存放jar包的路径Q用于存放作业的jar文g和展开的jar。job.jar是应用程序的jar文gQ它会被自动分发到各台机器，在task启动前会被自动展开。用api JobConf.getJar() 函数可以得到job.jar的位|。用JobConf.getJar().getParent()可以讉K存放展开的jar包的目录?
${mapred.local.dir}/taskTracker/jobcache/$jobid/job.xmlQ?一个job.xml文gQ本地的通用的作业配|文件?
${mapred.local.dir}/taskTracker/jobcache/$jobid/$taskidQ?每个d有一个目录task-idQ它里面有如下的目录l构Q?
${mapred.local.dir}/taskTracker/jobcache/$jobid/$taskid/job.xmlQ?一个job.xml文gQ本地化的Q务作业配|文件。Q务本地化是指task讑֮特定的属性倹{这些g在下面具体说明?
${mapred.local.dir}/taskTracker/jobcache/$jobid/$taskid/output 一个存放中间过E的输出文g的目录。它保存了由framwork产生的时map reduce数据Q比如map的输出文件等?
${mapred.local.dir}/taskTracker/jobcache/$jobid/$taskid/workQ?task的当前工作目录?
${mapred.local.dir}/taskTracker/jobcache/$jobid/$taskid/work/tmpQ?task的时目录。（用户可以讑֮属性mapred.child.tmp 来ؓmap和reduce task讑֮临时目录。缺省值是./tmp。如果这个g是绝对\径， 它会把task的工作\径加到该路径前面作ؓtask的时文件\径。如果这个值是l对路径则直接用这个倹{?如果指定的目录不存在Q会自动创徏该目录。之后，按照选项 -Djava.io.tmpdir='临时文g的绝对\?执行java子Q务?pipes和streaming的时文件\径是通过环境变量TMPDIR='the absolute path of the tmp dir'讑֮的）?如果mapred.child.tmp?/tmp|q个目录会被创徏?
下面的属性是为每个task执行时用的本地参数Q它们保存在本地化的d作业配置文g里：
名称 cd 描述
mapred.job.id String job id
mapred.jar String job目录下job.jar的位|?
job.local.dir String job指定的共享存储空?
mapred.tip.id String task id
mapred.task.id String task试id
mapred.task.is.map boolean 是否是map task
mapred.task.partition int task在job中的id
map.input.file String mapd的文件名
map.input.start long map输入的数据块的v始位|偏U?
map.input.length long map输入的数据块的字节数
mapred.work.output.dir String task临时输出目录
task的标准输出和错误输出会被读到TaskTracker中，q且记录?${HADOOP_LOG_DIR}/userlogs
DistributedCache 可用于map或reduce task中分发jar包和本地库。子jvmL?当前工作目录 加到 java.library.path ?LD_LIBRARY_PATH?因此Q可以通过 System.loadLibrary?System.load装蝲~存的库。有关用分布式~存加蝲׃n库的l节请参?native_libraries.html
作业的提交与监控
JobClient是用h交的作业与JobTracker交互的主要接口?/p>
JobClient 提供提交作业Q追t进E，讉K子Q务的日志记录Q获得Map/Reduce集群状态信息等功能?/p>
作业提交q程包括Q?/p>
查作业输入输出样式细?
Z业计InputSplit倹{?
如果需要的话，Z业的DistributedCache建立必须的统计信息?
拯作业的jar包和配置文g到FileSystem上的Map/Reducepȝ目录下?
提交作业到JobTrackerq且监控它的状态?
作业的历史文件记录到指定目录?_logs/history/"子目录下。这个指定目录由hadoop.job.history.user.location讑֮Q默认是作业输出的目录。因此默认情况下Q文件会存放在mapred.output.dir/_logs/history目录下。用户可以设|hadoop.job.history.user.location为none来停止日志记录?/p>
用户使用下面的命令可以看到在指定目录下的历史日志记录的摘要?
$ bin/hadoop job -history output-dir
q个命o会打印出作业的细节，以及p|的和被杀ȝdl节?br>要查看有关作业的更多l节例如成功的Q务、每个Q务尝试的ơ数Qtask attemptQ等Q可以用下面的命o
$ bin/hadoop job -history all output-dir
用户可以使用 OutputLogFilter 从输出目录列表中{选日志文件?/p>
一般情况，用户利用JobConf创徏应用E序q|作业属性， 然后?JobClient 提交作业q监视它的进E?/p>
作业的控?br>有时候，用一个单独的Map/Reduce作业q不能完成一个复杂的dQ用户也许要链接多个Map/Reduce作业才行。这是容易实现的Q因Z业通常输出到分布式文gpȝ上的Q所以可以把q个作业的输ZZ一个作业的输入实现串联?/p>
然而，q也意味着Q确保每一作业完成(成功或失?的责d直接落在了客戯n上。在q种情况下，可以用的控制作业的选项有：
runJob(JobConf)Q提交作业，仅当作业完成时返回?
submitJob(JobConf)Q只提交作业Q之后需要你轮询它返回的 RunningJob句柄的状态，q根据情况调度?
JobConf.setJobEndNotificationURI(String)Q设|一个作业完成通知Q可避免轮询?
作业的输?br>InputFormat 为Map/Reduce作业描述输入的细节规范?/p>
Map/Reduce框架Ҏ作业的InputFormat来：
查作业输入的有效性?
把输入文件切分成多个逻辑InputSplit实例Q?q把每一实例分别分发l一?Mapper?
提供RecordReader的实玎ͼq个RecordReader从逻辑InputSplit中获得输入记录， q些记录由Mapper处理?
Z文g的InputFormat实现Q通常?FileInputFormat的子c） 默认行ؓ是按照输入文件的字节大小Q把输入数据切分成逻辑分块Qlogical InputSplit Q?其中输入文g所在的FileSystem的数据块寸是分块大的上限。下限可以设|mapred.min.split.size 的倹{?/p>
考虑到边界情况，对于很多应用E序来说Q很明显按照文g大小q行逻辑分割是不能满需求的?在这U情况下Q应用程序需要实C个RecordReader来处理记录的边界qؓ每个d提供一个逻辑分块的面向记录的视图?/p>
TextInputFormat 是默认的InputFormat?/p>
如果一个作业的Inputformat是TextInputFormatQ?q且框架到输入文g的后~?gz?lzoQ就会用对应的CompressionCodec自动解压~这些文件?但是需要注意，上述带后~的压~文件不会被切分Qƈ且整个压~文件会分给一个mapper来处理?/p>
InputSplit
InputSplit 是一个单独的Mapper要处理的数据块?/p>
一般的InputSplit 是字节样式输入，然后由RecordReader处理q{化成记录样式?/p>
FileSplit 是默认的InputSplit?它把 map.input.file 讑֮入文件的路径Q输入文件是逻辑分块文g?/p>
RecordReader
RecordReader 从InputSlitd<key, value>寏V?/p>
一般的QRecordReader 把由InputSplit 提供的字节样式的输入文gQ{化成由Mapper处理的记录样式的文g?因此RecordReader负责处理记录的边界情况和把数据表C成keys/values对Ş式?/p>
作业的输?br>OutputFormat 描述Map/Reduce作业的输出样式?/p>
Map/Reduce框架Ҏ作业的OutputFormat来：
验作业的输出Q例如检查输\径是否已l存在?
提供一个RecordWriter的实玎ͼ用来输出作业l果?输出文g保存在FileSystem上?
TextOutputFormat是默认的 OutputFormat?/p>
d的Side-Effect File
在一些应用程序中Q子d需要生一些side-fileQ这些文件与作业实际输出l果的文件不同?/p>
在这U情况下Q同一个Mapper或者Reducer的两个实例（比如预防性Q务）同时打开或者写 FileSystem上的同一文g׃产生冲突。因此应用程序在写文件的时候需要ؓ每次d试Q不仅仅是每ơQ务，每个d可以试执行很多ơ）选取一个独一无二的文件名(使用attemptidQ例如task_200709221812_0001_m_000000_0)?/p>
Z避免冲突QMap/Reduce框架为每ơ尝试执行Q务都建立和维护一个特D的 ${mapred.output.dir}/_temporary/_${taskid}子目录，q个目录位于本次试执行d输出l果所在的FileSystem上，可以通过 ${mapred.work.output.dir}来访问这个子目录?对于成功完成的Q务尝试，只有${mapred.output.dir}/_temporary/_${taskid}下的文g会移动到${mapred.output.dir}。当Ӟ框架会丢弃那些失败的d试的子目录。这U处理过E对于应用程序来说是完全透明的?/p>
在Q务执行期_应用E序在写文g时可以利用这个特性，比如 通过 FileOutputFormat.getWorkOutputPath()获得${mapred.work.output.dir}目录Q?q在其下创徏Ld执行时所需的side-fileQ框架在d试成功时会马上Udq些文gQ因此不需要在E序内ؓ每次d试选取一个独一无二的名字?/p>
注意Q在每次d试执行期间Q?{mapred.work.output.dir} 的值实际上?${mapred.output.dir}/_temporary/_{$taskid}Q这个值是Map/Reduce框架创徏的?所以用这个特性的Ҏ是，?FileOutputFormat.getWorkOutputPath() 路径下创建side-file卛_?/p>
对于只用map不用reduce的作业，q个l论也成立。这U情况下Qmap的输出结果直接生成到HDFS上?/p>
RecordWriter
RecordWriter 生成<key, value> 对到输出文g?/p>
RecordWriter的实现把作业的输出结果写?FileSystem?/p>
其他有用的特?br>Counters
Counters 是多个由Map/Reduce框架或者应用程序定义的全局计数器?每一个Counter可以是Q何一U?Enumcd。同一特定Enumcd的Counter可以汇集C个组Q其cd为Counters.Group?/p>
应用E序可以定义L(Enumcd)的Countersq且可以通过 map 或?reduceҎ中的 Reporter.incrCounter(Enum, long)或?Reporter.incrCounter(String, String, long) 更新。之后框架会汇总这些全局counters?/p>
DistributedCache
DistributedCache 可将具体应用相关的、大寸的、只ȝ文g有效地分布放|?/p>
DistributedCache 是Map/Reduce框架提供的功能，能够~存应用E序所需的文?Q包括文本，档案文gQjar文g{）?/p>
应用E序在JobConf中通过url(hdfs://)指定需要被~存的文件?DistributedCache假定由hdfs://格式url指定的文件已l在 FileSystem上了?/p>
Map-Redcue框架在作业所有Q务执行之前会把必要的文g拯到slave节点上?它运行高效是因ؓ每个作业的文件只拯一ơƈ且ؓ那些没有文档的slave节点~存文档?/p>
DistributedCache Ҏ~存文档修改的时间戳q行q踪?在作业执行期_当前应用E序或者外部程序不能修改缓存文件?/p>
distributedCache可以分发单的只读数据或文本文Ӟ也可以分发复杂类型的文g例如归档文g和jar文g。归档文?zip,tar,tgz和tar.gz文g)在slave节点上会被解档（un-archivedQ?q些文g可以讄执行权限?/p>
用户可以通过讄mapred.cache.{files|archives}来分发文件?如果要分发多个文Ӟ可以使用逗号分隔文g所在\径。也可以利用API来设|该属性： DistributedCache.addCacheFile(URI,conf)/ DistributedCache.addCacheArchive(URI,conf) and DistributedCache.setCacheFiles(URIs,conf)/ DistributedCache.setCacheArchives(URIs,conf) 其中URI的Ş式是 hdfs://host:port/absolute-path#link-name 在StreamingE序中，可以通过命o行选项 -cacheFile/-cacheArchive 分发文g?/p>
用户可以通过 DistributedCache.createSymlink(Configuration)Ҏ让DistributedCache 在当前工作目录下创徏到缓存文件的W号链接?或者通过讄配置文g属性mapred.create.symlink为yes?分布式缓存会截取URI的片D作为链接的名字?例如QURI?hdfs://namenode:port/lib.so.1#lib.soQ?则在task当前工作目录会有名ؓlib.so的链接， 它会链接分布式缓存中的lib.so.1?/p>
DistributedCache可在map/reduced中作?一U基软g分发机制使用。它可以被用于分发jar包和本地库（native librariesQ?DistributedCache.addArchiveToClassPath(Path, Configuration)?DistributedCache.addFileToClassPath(Path, Configuration) API能够被用?~存文g和jar包，q把它们加入子jvm的classpath。也可以通过讄配置文档里的属?mapred.job.classpath.{files|archives}辑ֈ相同的效果。缓存文件可用于分发和装载本地库?/p>
Tool
Tool 接口支持处理常用的Hadoop命o行选项?/p>
Tool 是Map/Reduce工具或应用的标准。应用程序应只处理其定制参数Q?要把标准命o行选项通过 ToolRunner.run(Tool, String[]) 委托l?GenericOptionsParser处理?/p>
Hadoop命o行的常用选项有：
-conf <configuration file>
-D <property=value>
-fs <local|namenode:port>
-jt <local|jobtracker:port>
IsolationRunner
IsolationRunner 是帮助调试Map/ReduceE序的工兗?/p>
使用IsolationRunner的方法是Q首先设|?keep.failed.tasks.files属性ؓtrue Q同时参考keep.tasks.files.patternQ?/p>
然后Q登录到dq行p|的节点上Q进?TaskTracker的本地\径运?IsolationRunnerQ?br>$ cd <local path>/taskTracker/${taskid}/work
$ bin/hadoop org.apache.hadoop.mapred.IsolationRunner ../job.xml
IsolationRunner会把p|的Q务放在单独的一个能够调试的jvm上运行，q且采用和之前完全一L输入数据?/p>
Profiling
Profiling是一个工P它用内|的java profiler工具q行分析获得(2-3?map或reduce样例q行分析报告?/p>
用户可以通过讄属性mapred.task.profile指定pȝ是否采集profiler信息?利用api JobConf.setProfileEnabled(boolean)可以修改属性倹{如果设为trueQ?则开启profiling功能。profiler信息保存在用h志目录下。缺省情况，profiling功能是关闭的?/p>
如果用户讑֮使用profiling功能Q可以用配|文档里的属?mapred.task.profile.{maps|reduces} 讄要profile map/reduce task的范围。设|该属性值的api?JobConf.setProfileTaskRange(boolean,String)?范围的缺省值是0-2?/p>
用户可以通过讑֮配置文档里的属性mapred.task.profile.params 来指定profiler配置参数。修改属性要使用api JobConf.setProfileParams(String)。当q行taskӞ如果字符串包?s?它会被替换成profileing的输出文件名。这些参C在命令行里传递到子JVM中。缺省的profiling 参数?-agentlib:hprof=cpu=samples,heap=sites,force=n,thread=y,verbose=n,file=%s?/p>
调试
Map/Reduce框架能够q行用户提供的用于调试的脚本E序?当map/reducedp|Ӟ用户可以通过q行脚本在Q务日志（例如d的标准输出、标准错误、系l日志以及作业配|文Ӟ上做后箋处理工作。用h供的调试脚本E序的标准输出和标准错误会输Zؓ诊断文g。如果需要的话这些输出结果也可以打印在用L面上?/p>
在接下来的章节，我们讨论如何与作业一h交调试脚本。ؓ了提交调试脚本， 首先要把q个脚本分发出去Q而且q要在配|文仉讄?/p>
如何分发脚本文gQ?br>用户要用 DistributedCache 机制来分发和链接脚本文g
如何提交脚本Q?br>一个快速提交调试脚本的Ҏ是分别ؓ需要调试的mapd和reduced讄 "mapred.map.task.debug.script" ?"mapred.reduce.task.debug.script" 属性的倹{这些属性也可以通过 JobConf.setMapDebugScript(String) ?JobConf.setReduceDebugScript(String) API来设|。对于streamingQ?可以分别为需要调试的mapd和reduced使用命o行选项-mapdebug ?-reducedegug来提交调试脚本?/p>
脚本的参数是d的标准输出、标准错误、系l日志以及作业配|文件。在q行map/reducep|的节点上q行调试命o是：
$script $stdout $stderr $syslog $jobconf
Pipes E序ҎW五个参数获得c++E序名?因此调试pipesE序的命令是
$script $stdout $stderr $syslog $jobconf $program
默认行ؓ
对于pipesQ默认的脚本会用gdb处理core dumpQ?打印 stack traceq且l出正在q行U程的信息?/p>
JobControl
JobControl是一个工P它封装了一lMap/Reduce作业以及他们之间的依赖关pR?/p>
数据压羃
Hadoop Map/Reduce框架为应用程序的写入文g操作提供压羃工具Q这些工具可以ؓmap输出的中间数据和作业最l输出数据（例如reduce的输出）提供支持。它q附带了一?CompressionCodec的实玎ͼ比如实现?zlib和lzo压羃法?Hadoop同样支持gzip文g格式?/p>
考虑到性能问题QzlibQ以及Javacd的缺失（lzoQ等因素QHadoop也ؓ上述压羃解压法提供本地库的实现。更多的l节请参?q里?/p>
中间输出
应用E序可以通过 JobConf.setCompressMapOutput(boolean)api控制map输出的中间结果，q且可以通过 JobConf.setMapOutputCompressorClass(Class)api指定 CompressionCodec?/p>
作业输出
应用E序可以通过 FileOutputFormat.setCompressOutput(JobConf, boolean) api控制输出是否需要压~ƈ且可以?FileOutputFormat.setOutputCompressorClass(JobConf, Class)api指定CompressionCodec?/p>
如果作业输出要保存成 SequenceFileOutputFormat格式Q需要?SequenceFileOutputFormat.setOutputCompressionType(JobConf, SequenceFile.CompressionType)apiQ来讑֮ SequenceFile.CompressionType (i.e.RECORD / BLOCK - 默认是RECORD)?/p>
例子QWordCount v2.0
q里是一个更全面的WordCount例子Q它使用了我们已l讨的很多Map/Reduce框架提供的功能?/p>
q行q个例子需要HDFS的某些功能，特别?DistributedCache相关功能。因此这个例子只能运行在 伪分布式 或?完全分布式模式的 Hadoop上?/p>
源代?br> WordCount.java
1. package org.myorg;
2.
3. import java.io.*;
4. import java.util.*;
5.
6. import org.apache.hadoop.fs.Path;
7. import org.apache.hadoop.filecache.DistributedCache;
8. import org.apache.hadoop.conf.*;
9. import org.apache.hadoop.io.*;
10. import org.apache.hadoop.mapred.*;
11. import org.apache.hadoop.util.*;
12.
13. public class WordCount extends Configured implements Tool {
14.
15. public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
16.
17. static enum Counters { INPUT_WORDS }
18.
19. private final static IntWritable one = new IntWritable(1);
20. private Text word = new Text();
21.
22. private boolean caseSensitive = true;
23. private Set<String> patternsToSkip = new HashSet<String>();
24.
25. private long numRecords = 0;
26. private String inputFile;
27.
28. public void configure(JobConf job) {
29. caseSensitive = job.getBoolean("wordcount.case.sensitive", true);
30. inputFile = job.get("map.input.file");
31.
32. if (job.getBoolean("wordcount.skip.patterns", false)) {
33. Path[] patternsFiles = new Path[0];
34. try {
35. patternsFiles = DistributedCache.getLocalCacheFiles(job);
36. } catch (IOException ioe) {
37. System.err.println("Caught exception while getting cached files: " + StringUtils.stringifyException(ioe));
38. }
39. for (Path patternsFile : patternsFiles) {
40. parseSkipFile(patternsFile);
41. }
42. }
43. }
44.
45. private void parseSkipFile(Path patternsFile) {
46. try {
47. BufferedReader fis = new BufferedReader(new FileReader(patternsFile.toString()));
48. String pattern = null;
49. while ((pattern = fis.readLine()) != null) {
50. patternsToSkip.add(pattern);
51. }
52. } catch (IOException ioe) {
53. System.err.println("Caught exception while parsing the cached file '" + patternsFile + "' : " + StringUtils.stringifyException(ioe));
54. }
55. }
56.
57. public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
58. String line = (caseSensitive) ? value.toString() : value.toString().toLowerCase();
59.
60. for (String pattern : patternsToSkip) {
61. line = line.replaceAll(pattern, "");
62. }
63.
64. StringTokenizer tokenizer = new StringTokenizer(line);
65. while (tokenizer.hasMoreTokens()) {
66. word.set(tokenizer.nextToken());
67. output.collect(word, one);
68. reporter.incrCounter(Counters.INPUT_WORDS, 1);
69. }
70.
71. if ((++numRecords % 100) == 0) {
72. reporter.setStatus("Finished processing " + numRecords + " records " + "from the input file: " + inputFile);
73. }
74. }
75. }
76.
77. public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
78. public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
79. int sum = 0;
80. while (values.hasNext()) {
81. sum += values.next().get();
82. }
83. output.collect(key, new IntWritable(sum));
84. }
85. }
86.
87. public int run(String[] args) throws Exception {
88. JobConf conf = new JobConf(getConf(), WordCount.class);
89. conf.setJobName("wordcount");
90.
91. conf.setOutputKeyClass(Text.class);
92. conf.setOutputValueClass(IntWritable.class);
93.
94. conf.setMapperClass(Map.class);
95. conf.setCombinerClass(Reduce.class);
96. conf.setReducerClass(Reduce.class);
97.
98. conf.setInputFormat(TextInputFormat.class);
99. conf.setOutputFormat(TextOutputFormat.class);
100.
101. List<String> other_args = new ArrayList<String>();
102. for (int i=0; i < args.length; ++i) {
103. if ("-skip".equals(args[i])) {
104. DistributedCache.addCacheFile(new Path(args[++i]).toUri(), conf);
105. conf.setBoolean("wordcount.skip.patterns", true);
106. } else {
107. other_args.add(args[i]);
108. }
109. }
110.
111. FileInputFormat.setInputPaths(conf, new Path(other_args.get(0)));
112. FileOutputFormat.setOutputPath(conf, new Path(other_args.get(1)));
113.
114. JobClient.runJob(conf);
115. return 0;
116. }
117.
118. public static void main(String[] args) throws Exception {
119. int res = ToolRunner.run(new Configuration(), new WordCount(), args);
120. System.exit(res);
121. }
122. }
123.
q行样例
输入样例Q?/p>
$ bin/hadoop dfs -ls /usr/joe/wordcount/input/
/usr/joe/wordcount/input/file01
/usr/joe/wordcount/input/file02
$ bin/hadoop dfs -cat /usr/joe/wordcount/input/file01
Hello World, Bye World!
$ bin/hadoop dfs -cat /usr/joe/wordcount/input/file02
Hello Hadoop, Goodbye to hadoop.
q行E序Q?/p>
$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output
输出Q?/p>
$ bin/hadoop dfs -cat /usr/joe/wordcount/output/part-00000
Bye 1
Goodbye 1
Hadoop, 1
Hello 2
World! 1
World, 1
hadoop. 1
to 1
注意此时的输入与W一个版本的不同Q输出的l果也有不同?/p>
现在通过DistributedCache插入一个模式文Ӟ文g中保存了要被忽略的单词模式?/p>
$ hadoop dfs -cat /user/joe/wordcount/patterns.txt
\.
\,
\!
to
再运行一ơ，q次使用更多的选项Q?/p>
$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount -Dwordcount.case.sensitive=true /usr/joe/wordcount/input /usr/joe/wordcount/output -skip /user/joe/wordcount/patterns.txt
应该得到q样的输出：
$ bin/hadoop dfs -cat /usr/joe/wordcount/output/part-00000
Bye 1
Goodbye 1
Hadoop 1
Hello 2
World 2
hadoop 1
再运行一ơ，q一ơ关闭大写敏感性（case-sensitivityQ：
$ bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount -Dwordcount.case.sensitive=false /usr/joe/wordcount/input /usr/joe/wordcount/output -skip /user/joe/wordcount/patterns.txt
输出Q?/p>
$ bin/hadoop dfs -cat /usr/joe/wordcount/output/part-00000
bye 1
goodbye 1
hadoop 2
hello 2
world 2
E序要点
通过使用一些Map/Reduce框架提供的功能，WordCount的第二个版本在原始版本基上有了如下的改进Q?/p>
展示了应用程序如何在Mapper (和Reducer)中通过configureҎ 修改配置参数(28-43??
展示了作业如何用DistributedCache 来分发只L据?q里允许用户指定单词的模式，在计数时忽略那些W合模式的单?104??
展示Tool接口和GenericOptionsParser处理Hadoop命o行选项的功?(87-116, 119??
展示了应用程序如何用Counters(68?Q如何通过传递给mapQ和reduceQ?Ҏ的Reporter实例来设|应用程序的状态信?72??
Java和JNI是Sun Microsystems, Inc.在美国和其它国家的注册商标?/p>
本文来自CSDN博客Q{载请标明出处Q?a >http://blog.csdn.net/superxgl/archive/2010/01/11/5171929.aspx
]]>
master:192.168.5.236QUbuntu9.10,q行NamenodeQSecondaryNamenodeQDatanodeQJobTracker,TaskTracker
slave1Q?92.168.5.201QDebian4.0,q行DatanodeQTaskTracker
slave2Q?92.168.5.202QDebian4.0,q行DatanodeQTaskTracker
1.在所有节点上配置java环境
2.dq?台机器的用户名必ȝ同?/p>
3.修改三台机器?etc/hosts,
# /etc/hosts (for master AND slave)
192.168.5.236 master
192.168.5.201 slave1
192.168.5.202 slave2
然后在每台机器用ping hostname ,保可以q接成功?br>
4.讄namenode以ssh免密码方式连接datanode
aQ先在PC上设|ssh免密码登录：
|
hadoop@ubuntu:~$ ssh-keygen -t rsa -P "" Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Created directory '/home/hadoop/.ssh'. Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 9d:47:ab:d7:22:54:f0:f9:b9:3b:64:93:12:75:81:27 hadoop@ubuntu |
bQ然后，再把master?HOME/.ssh/id_rsa.pub文g拯到slave1和slave2?HOME/.ssh/下?/p>
5.修改master节点的配|文?/p>
aQ修?<HADOOP_INSTALL>/conf/masters如下Q?/p>
master
bQ修?<HADOOP_INSTALL>/conf/slaves如下Q?/p>
master //此处namenode节点也同时做Z个datanode节点
slave1
slave2
6.修改namenode的配|文?/p>
aQ修改conf/hadoop-env.shQ添加java_home的\?/p>
export JAVA_HOME=/usr/jdk1.6.0_18
bQ修改conf/core-site.xmlQ加?/p>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>q里写想存放HDFS文gpȝ的位|?lt;/value>
</property>
cQ修改conf/mapred-site.xmlQ加?/p>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>q里写想存放临时文g的位|?lt;/value>
</property>
dQ修改conf/hdfs-site.xmlQ加?/p>
<property>
<name>dfs.replication</name>
<value>3</value> 注：q里?个datanodeQ所以有三个副本
</property>
<property>
<name>dfs.name.dir</name>
<value></value>
</property>
<property>
<name>dfs.data.dir</name>
<value>3</value> ?/p>
</property>
7.配置完成Q将namenode节点的hadoop文g夹复制到其它的datanode节点上，所在的目录必须一栗如
scp -r ~/Hadoop slaver1:~/
复制完后在master上格式化NamenodeQ?/p>
$ bin/hadoop namenode -format
8.然后通过bin/start-all.sh启动各节点即可，每个节点都要启动。在所有节点上Q可通过jps查看相应的进E?/p>
9.在namenode节点上，使用bin/hadoop dfsadmin -report 可查看各节点的情c也可以览器输?http://master:50070?http://master:50030查看相应的信息?/p>
10.hdfs试
q行bin/目录的hadoop命oQ可以查看Haoop所有支持的操作及其用法Q这里以几个单的操作Z?br> 在HDFS建立目录Q?br> bin/hadoop dfs -mkdir testdir
在HDFS中徏立一个名为testdir的目?
复制文g到HDFSQ?br> bin/hadoop dfs -put /home/hadoop/large.zip testfile.zip
把本地文件large.zip拯到HDFS的根目录/user/hadoop/下，文g名ؓtestfile.zip
查看HDFS的现有文?br> bin/hadoop dfs -ls
]]>