那誰的技術(shù)博客

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

converse你好，看了一些ccache源碼，感謝你的開源項目。我有幾個問題(因為并沒有看到方方面面，所以也不算特別肯定，抱歉)：
1、ccache使用mmap映射文件到內(nèi)存，除了持久存儲，應(yīng)該就是為了使不相關(guān)進程能訪問同一cache，但存儲里卻用了指針(ccache_t里,prev,next等等)，也就是地址，而地址是僅僅只對初始化它們(init)的進程才有意義的，因為并不能保證文件會被不同進程映射到它們相同的邏輯地址。所以我覺得項目里mmap、文件的初衷達不到，也就是只有單進程能訪問cache，而且程序重啟reload file不可用。我個人覺得所有需要存儲的指針(地址)都應(yīng)該改為偏移量(off_t);
2、項目只使用了一個rwlock，也就是鎖粒度是整個cache級的，我覺得這個是不能接受的，一旦有寫鎖加上，整個cache都無法訪問。cache應(yīng)用中會有大量的讀操作(多進程，多線程)，也會有一定量的寫操作，讀操作應(yīng)該盡量不被堵塞。建議讀寫鎖粒度可以細化到hashitem級。另外我看里面除了visit其他全部都是加的寫鎖，包括find，具體代碼我沒細看，可能你有一些值需要更新，但是我覺得原則上find操作應(yīng)該加讀鎖；
3、對unfix的支持好像是freearea通過多級fix(alignsiz)實現(xiàn)的?這個我沒細看，沒太多發(fā)言權(quán)。因為當(dāng)時追蹤看到了，有些奇怪，提一下。我覺得這里就是一個類似malloc包的內(nèi)存管理，malloc包也會有小的塊這樣的概念，但和你這個好像并不是相同的用意。

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

@ping
1.第一點我沒太看明白,我的測試用例就是使用多進程去進行壓力測試的,好像還沒有發(fā)現(xiàn)問題.
2.這一點我也比較頭疼,但是目前沒有找到降低鎖粒度的辦法.find操作要加寫鎖,是因為根據(jù)LRU算法,每次訪問過的節(jié)點,需要往鏈表頭走一步,所以也有更新的操作.這樣,經(jīng)常被find的元素,就會越靠近鏈表頭.
3.是的,這個算法類似STL中內(nèi)存池的設(shè)計.

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

@那誰
第一點可能我省字沒說明白，我的意思是這樣：
既然ccache使用了mmap和文件，那它肯定應(yīng)該能支持：1、一個程序啟動，往里面insert一些數(shù)據(jù)，程序關(guān)閉；程序再次啟動，load上次的文件，這時它應(yīng)該是能讀取上次寫入的那些數(shù)據(jù)的；2、不相干的進程使用ccache，指定相同的文件，那它們應(yīng)該是能通信的，彼此的更新都能看到，而且也能同步訪問(rwlock)。不然你的ccache只能給一個進程或父子之類的相關(guān)進程訪問，這顯然意義不大。我想上面兩點也應(yīng)該是你使用mmap和文件的初衷。
而你想要不同的進程、不相干的進程都能理解你的文件結(jié)構(gòu)的話，只能使用偏移量，不能使用指針。比如你創(chuàng)建cache的進程(配置init=1)mmap返回的地址為A，里面的某個指針freearea指向的地方相對于它(ccache_t )的偏移量為X，然后freearea這個指針的值就為A+x，它被保存在文件里了，另一個不相干的進程(配置init=0)把它mmap到自己的進程空間，它的mmap返回值為B，而不是A，而這時你用freearea這個指針的值(A+x)去訪問你的空閑區(qū)顯然就出錯了(應(yīng)該是B+x)。所以我說在文件(以及共享內(nèi)存)不能使用指針、只能使用偏移量，是這個意思。
你的test/目錄下那個多進程insert的代碼我看了，因為是父子進程繼承mmap的關(guān)系，所以不會出錯，因為這種繼承關(guān)系本身就保證了mmap值的想同。
前面這些是基于對你的mmap作用、init作用的大概判斷的基礎(chǔ)上說的，希望沒有理解錯，以致浪費你的時間。
下面是一個會出問題的例子代碼：
#define WCF "../conf/fix_cache.conf.w"
#define RCF "../conf/fix_cache.conf.r"

void ccget()
{
int i,len;
char str[9];
ccache_data_t data;
ccache_t *cache = ccache_open(RCF,NULL);
assert(cache);

for(i = 1;i <= 1000000;i++)
{
len = sprintf(str,"%08d",i);

//data.data = (void *)&str;
//data.datasize = len;
data.key = (void *)&str;
data.keysize = len;

if(ccache_find(cache,&data) != 0)
{
printf("find FAIL\n");
break;
}
else printf("%s\t%s\n",(char *)data.key,(char *)data.data);
}
}
void ccset()
{
int i,len;
char str[9];
ccache_data_t data;
ccache_t *cache = ccache_open(WCF,NULL);
assert(cache);

for(i = 1;i <= 1000000;i++)
{
len = sprintf(str,"%08d",i);

data.data = (void *)&str;
data.datasize = len;
data.key = (void *)&str;
data.keysize = len;

if(ccache_insert(cache,&data,NULL,NULL) != 0)
{
printf("insert FAIL\n");
break;
}
}
}
int main(int argc,char **argv)
{
if(!strcmp(argv[1],"set")) ccset();
else if(!strcmp(argv[1],"get")) ccget();
}

其中fix_cache.conf.w就是你的fix_cache.conf文件，fix_cache.conf.r則是把它里面的init=1改為init=0，其它不變。
我用它來模仿不相干進程，先寫數(shù)據(jù)：
./cctest set
然后再打開文件讀數(shù)據(jù)：
./cctest get
我測了兩次，一次段錯誤，一次get FAIL.

如果是我對init的使用理解有誤，對耽誤你的時間表示歉意。

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

@ping
你說的沒錯,之前這個問題一直沒有發(fā)現(xiàn),是因為我之前寫的服務(wù)器程序都是父子進程的模式,能否給我留一個聯(lián)系方式,我將在下一次修正這個BUG的時候在changelog中加入你的信息,謝謝.你可以在私人留言中給我留下聯(lián)系方式.

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

@那誰
呵呵，不用。之前我有看過你在CU上寫的lighttpd源碼分析學(xué)習(xí)lighttpd，收獲很多，這次看ccache的代碼也學(xué)到了一些東西，尊敬你開源和共享的精神，這次能有所幫助已經(jīng)很高興了。技術(shù)范圍內(nèi)的討論大家都有收獲就好，簡簡單單，你不用特意的感謝。

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

有幾個問題想問問博主，感謝博主有空解答。

1。是否支持重復(fù)索引數(shù)據(jù)。
2。數(shù)據(jù)被刪除后空間是否真的被釋放。
3。能否支持按照表的方式管理。
4。可否考慮使用文件鎖的方式實現(xiàn)？

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

converse,你好,你的程序我在mingw下編譯，發(fā)現(xiàn)編譯不過，找不到sys/mman.h這個頭文件，請問我怎么解決這個問題？

# re: ccache0.6 版本發(fā)布  回復(fù)  更多評論   

很久不更新版本了，封板了。