supervised discrete hashing的evaluate_macro代碼理解：在主程序中調用時，evaluate_macro的前一個輸入參數是cateTrainTest，是訓練樣本數*測試樣本數的矩陣。evaluate_macro函數體中，對每個測試樣本，retrieved_relevant_num代表TP；relevant_num代表TP+FN；retrieved_num代表TP+FP。所有樣本分別的平均precision即是最終的輸出precision，所有樣本分別的平均recall即是最終的輸出recall。
cat_apcal函數是計算MAP的，代碼意義很好理解，比如按距離排序，前七個只有1、3、5和7是和query相同的類，則MAP=(1+2/3+3/5+4/7)/4 (This is with discussing with Shu Zhang). 但Deep hashing for compact (CVPR 2015) mean average
precision (mAP): which computes the area under the precision-recall curve.
matlab曲線下如何求面積?
如果知道函數表達式的話，調用quad函數就可以了。如果不知道函數表達式只知道這一系列離散點，x和y，則trapz(x,y)即可
例1：本機Hashing\code\ITQ\delete\test_cifar_PCA_ITQ_V01.m，對畫出的precison和recall曲線，計算曲線下的面積，用trapz(recall,precision)即可
Shu Zhang說不知以上兩種是否等價，如果按照Deep hashing for compact (CVPR 2015)算面積，則直接就能看出不同的方法誰的MAP大，因為誰的曲線在上方就誰大

身份證照片和真人的比對有兩個指標
誤識率：他明明不是張三，但你錯誤地把他判斷成了張三。誤識率1%，意味著有100個人來冒充其他人，有1個人會冒充成功。應該就是FAR
識別率：張三有10%左右的概率被系統說你不是張三，識別率90%。應該就是1-FRR
二代證比真人：識別率90% (誤識率1%)
即使在1%的認假率的情況下，識別率目前可能大概做到90%左右。當然這個前提條件是說，我們用的是二代證卡內的那張低質量，壓縮得非常狠，照片的分辨率不夠高的那張小照片。如果我們用的是一張清晰的，近期的證件照，那么這個結論可以做到大概，誤識率可以做到萬分之一的情況下，識別率可以做到90%以上的正確率。
Reference：
造就Talk | 山世光：天眼系統終將開啟，你準備好了嗎？http://mp.weixin.qq.com/s?__biz=MzAwNTcyNDU5MQ==&mid=509662068&idx=1&sn=f14840fb7927497ad0d49e1d18eb6b5a&scene=1&srcid=0529xR8z0qC240GLkQZuUAG9&from=groupmessage&isappinstalled=0#wechat_redirect 已看兩次

http://www.mathworks.com/matlabcentral/fileexchange/37758-performance-measures-for-classification/content/Evaluate.m
function EVAL = Evaluate(ACTUAL,PREDICTED)
% This fucntion evaluates the performance of a classification model by 
% calculating the common performance measures: Accuracy, Sensitivity, 
% Specificity, Precision, Recall, F-Measure, G-mean.
% Input: ACTUAL = Column matrix with actual class labels of the training
%                 examples
%        PREDICTED = Column matrix with predicted class labels by the
%                    classification model
% Output: EVAL = Row matrix with all the performance measures


idx = (ACTUAL()==1);

p = length(ACTUAL(idx));
n = length(ACTUAL(~idx));
N = p+n;

tp = sum(ACTUAL(idx)==PREDICTED(idx));
tn = sum(ACTUAL(~idx)==PREDICTED(~idx));
fp = n-tn;
fn = p-tp;

tp_rate = tp/p;
tn_rate = tn/n;

accuracy = (tp+tn)/N;
sensitivity = tp_rate;
specificity = tn_rate;
precision = tp/(tp+fp);
recall = sensitivity;
f_measure = 2*((precision*recall)/(precision + recall));
gmean = sqrt(tp_rate*tn_rate);

EVAL = [accuracy sensitivity specificity precision recall f_measure gmean];