幾天在單機(jī)環(huán)境下搭好了Hadoop，這兩天開始著手搭建集群環(huán)境。使用設(shè)備是我自己在實(shí)驗(yàn)室的一臺(tái)PC機(jī)和實(shí)驗(yàn)室的兩臺(tái)服務(wù)器，PC作為Namenode節(jié)點(diǎn)，同時(shí)運(yùn)行一個(gè)Namenode和一個(gè)Datanode，兩臺(tái)服務(wù)器作為slave,各自作為一個(gè)Datanode，這樣就一共有3個(gè)Datanode節(jié)點(diǎn)。IP地址分配為：
master:192.168.5.236，Ubuntu9.10,運(yùn)行Namenode，SecondaryNamenode，Datanode，JobTracker,TaskTracker
slave1：192.168.5.201，Debian4.0,運(yùn)行Datanode，TaskTracker
slave2：192.168.5.202，Debian4.0,運(yùn)行Datanode，TaskTracker
1.在所有節(jié)點(diǎn)上配置java環(huán)境
2.登錄這3臺(tái)機(jī)器的用戶名必須相同。
3.修改三臺(tái)機(jī)器的/etc/hosts,
# /etc/hosts (for master AND slave)
192.168.5.236 master
192.168.5.201 slave1
192.168.5.202 slave2
然后在每臺(tái)機(jī)器使用ping hostname ,確?？梢赃B接成功。
4.設(shè)置namenode以ssh免密碼方式連接datanode
a）先在PC上設(shè)置ssh免密碼登錄：
|
hadoop@ubuntu:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
9d:47:ab:d7:22:54:f0:f9:b9:3b:64:93:12:75:81:27 hadoop@ubuntu
hadoop@ubuntu:~$
|
b）然后，再把master的$HOME/.ssh/id_rsa.pub文件拷貝到slave1和slave2的$HOME/.ssh/下。
5.修改master節(jié)點(diǎn)的配置文件
a）修改 <HADOOP_INSTALL>/conf/masters如下：
master
b）修改 <HADOOP_INSTALL>/conf/slaves如下：
master //此處將namenode節(jié)點(diǎn)也同時(shí)做為一個(gè)datanode節(jié)點(diǎn)
slave1
slave2
6.修改namenode的配置文件
a）修改conf/hadoop-env.sh，添加java_home的路徑
export JAVA_HOME=/usr/jdk1.6.0_18
b）修改conf/core-site.xml，加入
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>這里寫想存放HDFS文件系統(tǒng)的位置</value>
</property>
c）修改conf/mapred-site.xml，加入
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>這里寫想存放臨時(shí)文件的位置</value>
</property>
d）修改conf/hdfs-site.xml，加入
<property>
<name>dfs.replication</name>
<value>3</value> 注：這里有3個(gè)datanode，所以有三個(gè)副本
</property>
<property>
<name>dfs.name.dir</name>
<value></value>
</property>
<property>
<name>dfs.data.dir</name>
<value>3</value> 注
</property>
7.配置完成，將namenode節(jié)點(diǎn)的hadoop文件夾復(fù)制到其它的datanode節(jié)點(diǎn)上，所在的目錄必須一樣。如
scp -r ~/Hadoop slaver1:~/
復(fù)制完后在master上格式化Namenode，
$ bin/hadoop namenode -format
8.然后通過bin/start-all.sh啟動(dòng)各節(jié)點(diǎn)即可，每個(gè)節(jié)點(diǎn)都要啟動(dòng)。在所有節(jié)點(diǎn)上，可通過jps查看相應(yīng)的進(jìn)程
9.在namenode節(jié)點(diǎn)上，使用bin/hadoop dfsadmin -report 可查看各節(jié)點(diǎn)的情況。也可以瀏覽器輸入 http://master:50070和 http://master:50030查看相應(yīng)的信息。
10.hdfs測試
運(yùn)行bin/目錄的hadoop命令，可以查看Haoop所有支持的操作及其用法，這里以幾個(gè)簡單的操作為例。
在HDFS建立目錄：
bin/hadoop dfs -mkdir testdir
在HDFS中建立一個(gè)名為testdir的目錄
復(fù)制文件到HDFS：
bin/hadoop dfs -put /home/hadoop/large.zip testfile.zip
把本地文件large.zip拷貝到HDFS的根目錄/user/hadoop/下，文件名為testfile.zip
查看HDFS的現(xiàn)有文件
bin/hadoop dfs -ls