那誰(shuí)的技術(shù)博客

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

converse你好，看了一些ccache源碼，感謝你的開源項(xiàng)目。我有幾個(gè)問(wèn)題(因?yàn)椴](méi)有看到方方面面，所以也不算特別肯定，抱歉)：
1、ccache使用mmap映射文件到內(nèi)存，除了持久存儲(chǔ)，應(yīng)該就是為了使不相關(guān)進(jìn)程能訪問(wèn)同一cache，但存儲(chǔ)里卻用了指針(ccache_t里,prev,next等等)，也就是地址，而地址是僅僅只對(duì)初始化它們(init)的進(jìn)程才有意義的，因?yàn)椴⒉荒鼙ＷC文件會(huì)被不同進(jìn)程映射到它們相同的邏輯地址。所以我覺(jué)得項(xiàng)目里mmap、文件的初衷達(dá)不到，也就是只有單進(jìn)程能訪問(wèn)cache，而且程序重啟reload file不可用。我個(gè)人覺(jué)得所有需要存儲(chǔ)的指針(地址)都應(yīng)該改為偏移量(off_t);
2、項(xiàng)目只使用了一個(gè)rwlock，也就是鎖粒度是整個(gè)cache級(jí)的，我覺(jué)得這個(gè)是不能接受的，一旦有寫鎖加上，整個(gè)cache都無(wú)法訪問(wèn)。cache應(yīng)用中會(huì)有大量的讀操作(多進(jìn)程，多線程)，也會(huì)有一定量的寫操作，讀操作應(yīng)該盡量不被堵塞。建議讀寫鎖粒度可以細(xì)化到hashitem級(jí)。另外我看里面除了visit其他全部都是加的寫鎖，包括find，具體代碼我沒(méi)細(xì)看，可能你有一些值需要更新，但是我覺(jué)得原則上find操作應(yīng)該加讀鎖；
3、對(duì)unfix的支持好像是freearea通過(guò)多級(jí)fix(alignsiz)實(shí)現(xiàn)的?這個(gè)我沒(méi)細(xì)看，沒(méi)太多發(fā)言權(quán)。因?yàn)楫?dāng)時(shí)追蹤看到了，有些奇怪，提一下。我覺(jué)得這里就是一個(gè)類似malloc包的內(nèi)存管理，malloc包也會(huì)有小的塊這樣的概念，但和你這個(gè)好像并不是相同的用意。

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

@ping
1.第一點(diǎn)我沒(méi)太看明白,我的測(cè)試用例就是使用多進(jìn)程去進(jìn)行壓力測(cè)試的,好像還沒(méi)有發(fā)現(xiàn)問(wèn)題.
2.這一點(diǎn)我也比較頭疼,但是目前沒(méi)有找到降低鎖粒度的辦法.find操作要加寫鎖,是因?yàn)楦鶕?jù)LRU算法,每次訪問(wèn)過(guò)的節(jié)點(diǎn),需要往鏈表頭走一步,所以也有更新的操作.這樣,經(jīng)常被find的元素,就會(huì)越靠近鏈表頭.
3.是的,這個(gè)算法類似STL中內(nèi)存池的設(shè)計(jì).

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

@那誰(shuí)
第一點(diǎn)可能我省字沒(méi)說(shuō)明白，我的意思是這樣：
既然ccache使用了mmap和文件，那它肯定應(yīng)該能支持：1、一個(gè)程序啟動(dòng)，往里面insert一些數(shù)據(jù)，程序關(guān)閉；程序再次啟動(dòng)，load上次的文件，這時(shí)它應(yīng)該是能讀取上次寫入的那些數(shù)據(jù)的；2、不相干的進(jìn)程使用ccache，指定相同的文件，那它們應(yīng)該是能通信的，彼此的更新都能看到，而且也能同步訪問(wèn)(rwlock)。不然你的ccache只能給一個(gè)進(jìn)程或父子之類的相關(guān)進(jìn)程訪問(wèn)，這顯然意義不大。我想上面兩點(diǎn)也應(yīng)該是你使用mmap和文件的初衷。
而你想要不同的進(jìn)程、不相干的進(jìn)程都能理解你的文件結(jié)構(gòu)的話，只能使用偏移量，不能使用指針。比如你創(chuàng)建cache的進(jìn)程(配置init=1)mmap返回的地址為A，里面的某個(gè)指針freearea指向的地方相對(duì)于它(ccache_t )的偏移量為X，然后freearea這個(gè)指針的值就為A+x，它被保存在文件里了，另一個(gè)不相干的進(jìn)程(配置init=0)把它mmap到自己的進(jìn)程空間，它的mmap返回值為B，而不是A，而這時(shí)你用freearea這個(gè)指針的值(A+x)去訪問(wèn)你的空閑區(qū)顯然就出錯(cuò)了(應(yīng)該是B+x)。所以我說(shuō)在文件(以及共享內(nèi)存)不能使用指針、只能使用偏移量，是這個(gè)意思。
你的test/目錄下那個(gè)多進(jìn)程insert的代碼我看了，因?yàn)槭歉缸舆M(jìn)程繼承mmap的關(guān)系，所以不會(huì)出錯(cuò)，因?yàn)檫@種繼承關(guān)系本身就保證了mmap值的想同。
前面這些是基于對(duì)你的mmap作用、init作用的大概判斷的基礎(chǔ)上說(shuō)的，希望沒(méi)有理解錯(cuò)，以致浪費(fèi)你的時(shí)間。
下面是一個(gè)會(huì)出問(wèn)題的例子代碼：
#define WCF "../conf/fix_cache.conf.w"
#define RCF "../conf/fix_cache.conf.r"

void ccget()
{
int i,len;
char str[9];
ccache_data_t data;
ccache_t *cache = ccache_open(RCF,NULL);
assert(cache);

for(i = 1;i <= 1000000;i++)
{
len = sprintf(str,"%08d",i);

//data.data = (void *)&str;
//data.datasize = len;
data.key = (void *)&str;
data.keysize = len;

if(ccache_find(cache,&data) != 0)
{
printf("find FAIL\n");
break;
}
else printf("%s\t%s\n",(char *)data.key,(char *)data.data);
}
}
void ccset()
{
int i,len;
char str[9];
ccache_data_t data;
ccache_t *cache = ccache_open(WCF,NULL);
assert(cache);

for(i = 1;i <= 1000000;i++)
{
len = sprintf(str,"%08d",i);

data.data = (void *)&str;
data.datasize = len;
data.key = (void *)&str;
data.keysize = len;

if(ccache_insert(cache,&data,NULL,NULL) != 0)
{
printf("insert FAIL\n");
break;
}
}
}
int main(int argc,char **argv)
{
if(!strcmp(argv[1],"set")) ccset();
else if(!strcmp(argv[1],"get")) ccget();
}

其中fix_cache.conf.w就是你的fix_cache.conf文件，fix_cache.conf.r則是把它里面的init=1改為init=0，其它不變。
我用它來(lái)模仿不相干進(jìn)程，先寫數(shù)據(jù)：
./cctest set
然后再打開文件讀數(shù)據(jù)：
./cctest get
我測(cè)了兩次，一次段錯(cuò)誤，一次get FAIL.

如果是我對(duì)init的使用理解有誤，對(duì)耽誤你的時(shí)間表示歉意。

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

@ping
你說(shuō)的沒(méi)錯(cuò),之前這個(gè)問(wèn)題一直沒(méi)有發(fā)現(xiàn),是因?yàn)槲抑皩懙姆?wù)器程序都是父子進(jìn)程的模式,能否給我留一個(gè)聯(lián)系方式,我將在下一次修正這個(gè)BUG的時(shí)候在changelog中加入你的信息,謝謝.你可以在私人留言中給我留下聯(lián)系方式.

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

@那誰(shuí)
呵呵，不用。之前我有看過(guò)你在CU上寫的lighttpd源碼分析學(xué)習(xí)lighttpd，收獲很多，這次看ccache的代碼也學(xué)到了一些東西，尊敬你開源和共享的精神，這次能有所幫助已經(jīng)很高興了。技術(shù)范圍內(nèi)的討論大家都有收獲就好，簡(jiǎn)簡(jiǎn)單單，你不用特意的感謝。

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

有幾個(gè)問(wèn)題想問(wèn)問(wèn)博主，感謝博主有空解答。

1。是否支持重復(fù)索引數(shù)據(jù)。
2。數(shù)據(jù)被刪除后空間是否真的被釋放。
3。能否支持按照表的方式管理。
4。可否考慮使用文件鎖的方式實(shí)現(xiàn)？

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

converse,你好,你的程序我在mingw下編譯，發(fā)現(xiàn)編譯不過(guò)，找不到sys/mman.h這個(gè)頭文件，請(qǐng)問(wèn)我怎么解決這個(gè)問(wèn)題？

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評(píng)論   

很久不更新版本了，封板了。