0 為什么需要hash_map
用過map吧?map提供一個很常用的功能,那就是提供key-value的存儲和查找功能。例如,我要記錄一個人名和相應(yīng)的存儲,而且隨時增加,要快速查找和修改:
岳不群-華山派掌門人,人稱君子劍
張三豐-武當(dāng)掌門人,太極拳創(chuàng)始人
東方不敗-第一高手,葵花寶典
...
這些信息如果保存下來并不復(fù)雜,但是找起來比較麻煩。例如我要找"張三豐"的信息,最傻的方法就是取得所有的記錄,然后按照名字一個一個比較。如果要速度快,就需要把這些記錄按照字母順序排列,然后按照二分法查找。但是增加記錄的時候同時需要保持記錄有序,因此需要插入排序。考慮到效率,這就需要用到二叉樹。講下去會沒完沒了,如果你使用STL 的map容器,你可以非常方便的實(shí)現(xiàn)這個功能,而不用關(guān)心其細(xì)節(jié)。關(guān)于map的數(shù)據(jù)結(jié)構(gòu)細(xì)節(jié),感興趣的朋友可以參看學(xué)習(xí)STL map, STL set之?dāng)?shù)據(jù)結(jié)構(gòu)基礎(chǔ)。看看map的實(shí)現(xiàn):
#include <map>
#include <string>
using namespace std;
...
map<string, string> namemap;
//增加。。。
namemap["岳不群"]="華山派掌門人,人稱君子劍";
namemap["張三豐"]="武當(dāng)掌門人,太極拳創(chuàng)始人";
namemap["東方不敗"]="第一高手,葵花寶典";
...
//查找。。
if(namemap.find("岳不群") != namemap.end()){
...
}
不覺得用起來很easy嗎?而且效率很高,100萬條記錄,最多也只要20次的string.compare的比較,就能找到你要找的記錄;200萬條記錄事,也只要用21次的比較。
速度永遠(yuǎn)都滿足不了現(xiàn)實(shí)的需求。如果有100萬條記錄,我需要頻繁進(jìn)行搜索時,20次比較也會成為瓶頸,要是能降到一次或者兩次比較是否有可能?而且當(dāng)記錄數(shù)到200萬的時候也是一次或者兩次的比較,是否有可能?而且還需要和map一樣的方便使用。
答案是肯定的。這時你需要has_map. 雖然hash_map目前并沒有納入C++ 標(biāo)準(zhǔn)模板庫中,但幾乎每個版本的STL都提供了相應(yīng)的實(shí)現(xiàn)。而且應(yīng)用十分廣泛。在正式使用hash_map之前,先看看hash_map的原理。
1 數(shù)據(jù)結(jié)構(gòu):hash_map原理
這是一節(jié)讓你深入理解hash_map的介紹,如果你只是想囫圇吞棗,不想理解其原理,你倒是可以略過這一節(jié),但我還是建議你看看,多了解一些沒有壞處。
hash_map基于hash table(哈希表)。 哈希表最大的優(yōu)點(diǎn),就是把數(shù)據(jù)的存儲和查找消耗的時間大大降低,幾乎可以看成是常數(shù)時間;而代價僅僅是消耗比較多的內(nèi)存。然而在當(dāng)前可利用內(nèi)存越來越多的情況下,用空間換時間的做法是值得的。另外,編碼比較容易也是它的特點(diǎn)之一。
其基本原理是:使用一個下標(biāo)范圍比較大的數(shù)組來存儲元素。可以設(shè)計(jì)一個函數(shù)(哈希函數(shù),也叫做散列函數(shù)),使得每個元素的關(guān)鍵字都與一個函數(shù)值(即數(shù)組下標(biāo),hash值)相對應(yīng),于是用這個數(shù)組單元來存儲這個元素;也可以簡單的理解為,按照關(guān)鍵字為每一個元素“分類”,然后將這個元素存儲在相應(yīng)“類”所對應(yīng)的地方,稱為桶。
但是,不能夠保證每個元素的關(guān)鍵字與函數(shù)值是一一對應(yīng)的,因此極有可能出現(xiàn)對于不同的元素,卻計(jì)算出了相同的函數(shù)值,這樣就產(chǎn)生了“沖突”,換句話說,就是把不同的元素分在了相同的“類”之中。 總的來說,“直接定址”與“解決沖突”是哈希表的兩大特點(diǎn)。
hash_map,首先分配一大片內(nèi)存,形成許多桶。是利用hash函數(shù),對key進(jìn)行映射到不同區(qū)域(桶)進(jìn)行保存。其插入過程是:
- 得到key
- 通過hash函數(shù)得到hash值
- 得到桶號(一般都為hash值對桶數(shù)求模)
- 存放key和value在桶內(nèi)。
其取值過程是:
- 得到key
- 通過hash函數(shù)得到hash值
- 得到桶號(一般都為hash值對桶數(shù)求模)
- 比較桶的內(nèi)部元素是否與key相等,若都不相等,則沒有找到。
- 取出相等的記錄的value。
hash_map中直接地址用hash函數(shù)生成,解決沖突,用比較函數(shù)解決。這里可以看出,如果每個桶內(nèi)部只有一個元素,那么查找的時候只有一次比較。當(dāng)許多桶內(nèi)沒有值時,許多查詢就會更快了(指查不到的時候).
由此可見,要實(shí)現(xiàn)哈希表, 和用戶相關(guān)的是:hash函數(shù)和比較函數(shù)。這兩個參數(shù)剛好是我們在使用hash_map時需要指定的參數(shù)。
2 hash_map 使用
2.1 一個簡單實(shí)例
不要著急如何把"岳不群"用hash_map表示,我們先看一個簡單的例子:隨機(jī)給你一個ID號和ID號相應(yīng)的信息,ID號的范圍是1~2的31次方。如何快速保存查找。
#include <hash_map>
#include <string>
using namespace std;
int main(){
hash_map<int, string> mymap;
mymap[9527]="唐伯虎點(diǎn)秋香";
mymap[1000000]="百萬富翁的生活";
mymap[10000]="白領(lǐng)的工資底線";
...
if(mymap.find(10000) != mymap.end()){
...
}
夠簡單,和map使用方法一樣。這時你或許會問?hash函數(shù)和比較函數(shù)呢?不是要指定么?你說對了,但是在你沒有指定hash函數(shù)和比較函數(shù)的時候,你會有一個缺省的函數(shù),看看hash_map的聲明,你會更加明白。下面是SGI STL的聲明:
template <class _Key, class _Tp, class _HashFcn = hash<_Key>,
class _EqualKey = equal_to<_Key>,
class _Alloc = __STL_DEFAULT_ALLOCATOR(_Tp) >
class hash_map
{
...
}
也就是說,在上例中,有以下等同關(guān)系:
...
hash_map<int, string> mymap;
//等同于:
hash_map<int, string, hash<int>, equal_to<int> > mymap;
Alloc我們就不要取關(guān)注太多了(希望深入了解Allocator的朋友可以參看標(biāo)準(zhǔn)庫 STL :Allocator能做什么)
2.2 hash_map 的hash函數(shù)
hash< int>到底是什么樣子?看看源碼:
struct hash<int> {
size_t operator()(int __x) const { return __x; }
};
原來是個函數(shù)對象。在SGI STL中,提供了以下hash函數(shù):
struct hash<char*>
struct hash<const char*>
struct hash<char>
struct hash<unsigned char>
struct hash<signed char>
struct hash<short>
struct hash<unsigned short>
struct hash<int>
struct hash<unsigned int>
struct hash<long>
struct hash<unsigned long>
也就是說,如果你的key使用的是以上類型中的一種,你都可以使用缺省的hash函數(shù)。當(dāng)然你自己也可以定義自己的hash函數(shù)。對于自定義變量,你只能如此,例如對于string,就必須自定義hash函數(shù)。例如:
struct str_hash{
size_t operator()(const string& str) const
{
unsigned long __h = 0;
for (size_t i = 0 ; i < str.size() ; i ++)
__h = 5*__h + str[i];
return size_t(__h);
}
};
//如果你希望利用系統(tǒng)定義的字符串hash函數(shù),你可以這樣寫:
struct str_hash{
size_t operator()(const string& str) const
{
return return __stl_hash_string(str.c_str());
}
};
在聲明自己的哈希函數(shù)時要注意以下幾點(diǎn):
- 使用struct,然后重載operator().
- 返回是size_t
- 參數(shù)是你要hash的key的類型。
- 函數(shù)是const類型的。
如果這些比較難記,最簡單的方法就是照貓畫虎,找一個函數(shù)改改就是了。
現(xiàn)在可以對開頭的"岳不群"進(jìn)行哈希化了
. 直接替換成下面的聲明即可:
map<string, string> namemap;
//改為:
hash_map<string, string, str_hash> namemap;
其他用法都不用邊。當(dāng)然不要忘了吧str_hash的聲明以及頭文件改為hash_map。
你或許會問:比較函數(shù)呢?別著急,這里就開始介紹hash_map中的比較函數(shù)。
2.3 hash_map 的比較函數(shù)
在map中的比較函數(shù),需要提供less函數(shù)。如果沒有提供,缺省的也是less< Key> 。在hash_map中,要比較桶內(nèi)的數(shù)據(jù)和key是否相等,因此需要的是是否等于的函數(shù):equal_to< Key> 。先看看equal_to的源碼:
//本代碼可以從SGI STL
//先看看binary_function 函數(shù)聲明,其實(shí)只是定義一些類型而已。
template <class _Arg1, class _Arg2, class _Result>
struct binary_function {
typedef _Arg1 first_argument_type;
typedef _Arg2 second_argument_type;
typedef _Result result_type;
};
//看看equal_to的定義:
template <class _Tp>
struct equal_to : public binary_function<_Tp,_Tp,bool>
{
bool operator()(const _Tp& __x, const _Tp& __y) const { return __x == __y; }
};
如果你使用一個自定義的數(shù)據(jù)類型,如struct mystruct, 或者const char* 的字符串,如何使用比較函數(shù)?使用比較函數(shù),有兩種方法. 第一種是:重載==操作符,利用equal_to;看看下面的例子:
struct mystruct{
int iID;
int len;
bool operator==(const mystruct & my) const{
return (iID==my.iID) && (len==my.len) ;
}
};
這樣,就可以使用equal_to< mystruct>作為比較函數(shù)了。另一種方法就是使用函數(shù)對象。自定義一個比較函數(shù)體:
struct compare_str{
bool operator()(const char* p1, const char*p2) const{
return strcmp(p1,p2)==0;
}
};
有了compare_str,就可以使用hash_map了。
typedef hash_map<const char*, string, hash<const char*>, compare_str> StrIntMap;
StrIntMap namemap;
namemap["岳不群"]="華山派掌門人,人稱君子劍";
namemap["張三豐"]="武當(dāng)掌門人,太極拳創(chuàng)始人";
namemap["東方不敗"]="第一高手,葵花寶典";
2.4 hash_map 函數(shù)
hash_map的函數(shù)和map的函數(shù)差不多。具體函數(shù)的參數(shù)和解釋,請參看:STL 編程手冊:Hash_map,這里主要介紹幾個常用函數(shù)。
- hash_map(size_type n) 如果講究效率,這個參數(shù)是必須要設(shè)置的。n 主要用來設(shè)置hash_map 容器中hash桶的個數(shù)。桶個數(shù)越多,hash函數(shù)發(fā)生沖突的概率就越小,重新申請內(nèi)存的概率就越小。n越大,效率越高,但是內(nèi)存消耗也越大。
- const_iterator find(const key_type& k) const. 用查找,輸入為鍵值,返回為迭代器。
- data_type& operator[](const key_type& k) . 這是我最常用的一個函數(shù)。因?yàn)槠涮貏e方便,可像使用數(shù)組一樣使用。不過需要注意的是,當(dāng)你使用[key ]操作符時,如果容器中沒有key元素,這就相當(dāng)于自動增加了一個key元素。因此當(dāng)你只是想知道容器中是否有key元素時,你可以使用find。如果你希望插入該元素時,你可以直接使用[]操作符。
- insert 函數(shù)。在容器中不包含key值時,insert函數(shù)和[]操作符的功能差不多。但是當(dāng)容器中元素越來越多,每個桶中的元素會增加,為了保證效率,hash_map會自動申請更大的內(nèi)存,以生成更多的桶。因此在insert以后,以前的iterator有可能是不可用的。
- erase 函數(shù)。在insert的過程中,當(dāng)每個桶的元素太多時,hash_map可能會自動擴(kuò)充容器的內(nèi)存。但在sgi stl中是erase并不自動回收內(nèi)存。因此你調(diào)用erase后,其他元素的iterator還是可用的。
3 相關(guān)hash容器
hash 容器除了hash_map之外,還有hash_set, hash_multimap, has_multiset, 這些容器使用起來和set, multimap, multiset的區(qū)別與hash_map和map的區(qū)別一樣,我想不需要我一一細(xì)說了吧。
4 其他
這里列幾個常見問題,應(yīng)該對你理解和使用hash_map比較有幫助。
4.1 hash_map和map的區(qū)別在哪里?
- 構(gòu)造函數(shù)。hash_map需要hash函數(shù),等于函數(shù);map只需要比較函數(shù)(小于函數(shù)).
- 存儲結(jié)構(gòu)。hash_map采用hash表存儲,map一般采用紅黑樹(RB Tree)實(shí)現(xiàn)。因此其memory數(shù)據(jù)結(jié)構(gòu)是不一樣的。
4.2 什么時候需要用hash_map,什么時候需要用map?
總體來說,hash_map 查找速度會比map快,而且查找速度基本和數(shù)據(jù)數(shù)據(jù)量大小,屬于常數(shù)級別;而map的查找速度是log(n)級別。并不一定常數(shù)就比log(n)小,hash還有hash函數(shù)的耗時,明白了吧,如果你考慮效率,特別是在元素達(dá)到一定數(shù)量級時,考慮考慮hash_map。但若你對內(nèi)存使用特別嚴(yán)格,希望程序盡可能少消耗內(nèi)存,那么一定要小心,hash_map可能會讓你陷入尷尬,特別是當(dāng)你的hash_map對象特別多時,你就更無法控制了,而且hash_map的構(gòu)造速度較慢。
現(xiàn)在知道如何選擇了嗎?權(quán)衡三個因素: 查找速度, 數(shù)據(jù)量, 內(nèi)存使用。
這里還有個關(guān)于hash_map和map的小故事,看看:http://dev.csdn.net/Develop/article/14/14019.shtm
4.3 如何在hash_map中加入自己定義的類型?
你只要做兩件事, 定義hash函數(shù),定義等于比較函數(shù)。下面的代碼是一個例子:
-bash-2.05b$ cat my.cpp
#include <hash_map>
#include <string>
#include <iostream>
using namespace std;
//define the class
class ClassA{
public:
ClassA(int a):c_a(a){}
int getvalue()const { return c_a;}
void setvalue(int a){c_a;}
private:
int c_a;
};
//1 define the hash function
struct hash_A{
size_t operator()(const class ClassA & A)const{
// return hash<int>(classA.getvalue());
return A.getvalue();
}
};
//2 define the equal function
struct equal_A{
bool operator()(const class ClassA & a1, const class ClassA & a2)const{
return a1.getvalue() == a2.getvalue();
}
};
int main()
{
hash_map<ClassA, string, hash_A, equal_A> hmap;
ClassA a1(12);
hmap[a1]="I am 12";
ClassA a2(198877);
hmap[a2]="I am 198877";
cout<<hmap[a1]<<endl;
cout<<hmap[a2]<<endl;
return 0;
}
-bash-2.05b$ make my
c++ -O -pipe -march=pentiumpro my.cpp -o my
-bash-2.05b$ ./my
I am 12
I am 198877
typedef map<Key, Value> KeyMap;
當(dāng)你希望使用hash_map來替換的時候,只需要修改:
typedef hash_map<Key, Value> KeyMap;
其他的基本不變。當(dāng)然,你需要注意是否有Key類型的hash函數(shù)和比較函數(shù)。
4.5為什么hash_map不是標(biāo)準(zhǔn)的?
具體為什么不是標(biāo)準(zhǔn)的,我也不清楚,有個解釋說在STL加入標(biāo)準(zhǔn)C++之時,hash_map系列當(dāng)時還沒有完全實(shí)現(xiàn),以后應(yīng)該會成為標(biāo)準(zhǔn)。如果誰知道更合理的解釋,也希望告訴我。但我想表達(dá)的是,正是因?yàn)?span lang="EN-US">hash_map不是標(biāo)準(zhǔn)的,所以許多平臺上安裝了g++編譯器,不一定有hash_map的實(shí)現(xiàn)。我就遇到了這樣的例子。因此在使用這些非標(biāo)準(zhǔn)庫的時候,一定要事先測試。另外,如果考慮到平臺移植,還是少用為佳。
4.6 有學(xué)習(xí)使用hash_map的建議嗎?
hash中文是哈希,也成為散列,聽見別人說散列容器不要埋怨自己孤陋寡聞。了解hash系列,你還可以看看這篇文章:effective STL 25: 熟悉非標(biāo)準(zhǔn)散列容器, 另外建議查看源代碼。如果還有問題,那么你可以在STL論壇上提問,會有高手回答你的。