Posted on 2009-09-28 13:32
MichaelCao 閱讀(372)
評論(0) 編輯 收藏 引用 所屬分類:
Apache Hadoop_Storm_Spark
在編譯Hadoop后需要注意的幾點
1.各個節點上的版本要相同。需要注意的是，編譯后，程序運行就會從build文件夾里的class文件運行，所以即使你把jar包cp到根目錄底下，仍然沒用。刪除build目錄里面的jar包，還是沒用。辦法: ant clean
2.在使用一個新版本以后，可能會出現mapreduce能啟動，但是dfs無法啟動的情況。即使你format namenode還是不行。這個讓我郁悶了好久。mapreduce 都可以啟動，但就是dfs無法啟動。datanode就是啟動不了。想了好久，總算想明白了。因為datanode里面有數據，可是namenode里面卻格式化了。辦法：刪除所有datanode中的數據。
使用ssh 遠程執行命令
ssh gp09@***.comp.nus.edu.sg 'mkdir hadoop'
不過ssh有一個比較煩的地方，就是不能用cd命令。所以在使用的時候要小心。
在linux或者unix中安裝ant
編輯.bashrc 文件
添加：
export ANT_HOME=~/files/....
export JAVA_HOME=/usr/lib/jvm/java-6-sun/jre/bin/java
export PATH=$(PATH):$(ANT_HOME)/bin
期中$表示提取變量，:表示在后面添加。