最近使用Hive來統計數據，用了pyhs2來實現查詢，但是有些復雜的處理比如，自定義對域名的處理等，不能通過hql來實現，發現能夠使用udf。
Java來實現Hive的寫法
package jsl.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public final class DomainRoot extends UDF {
public Text evaluate(Text s) {
if (s == null) {return null;}
String tmp = s.toString();
tmp = this.getDomainRoot(tmp);
return new Text(tmp);
}
private String getDomainRoot(String domain) {
throw NoneImplementException("xxxx");
}
}
如果Java的UDF需要當成常用的，不用每次add可以注冊到Hive中，
ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入
registerUDF("domain_root", UDFParseUrl.class, false);并重新編譯hive即可
下面來說說重點，通過Streaming用Python來寫處理。
關于Streaming的基礎內容：
使用Transform來指定列，以及使用AS來指定生成的列以及可以指定轉換生成列的類型
hive> select transform(col1, clo2)
> using '/bin/cat' as (new_clo1 int, new_clo2 double) from table;
約束：首先必須add file到hive中（當python中引用了其他如自己寫的模塊時，也需要一并add進去）
其次非常不幸,在單獨的一個查詢中，不能夠使用UDAF的函數如sum()
再次不得為中間結果數據使用cluster by或distribute by
注意：對于優化查詢，使用cluster by或distribute by 和sort by一起非常重要