青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

阿二的夢想船

 

redis如何刪除過期數據

隨著nosql風潮興起,redis作為當中一個耀眼的明星,也越來越多的被關注和使用,我在工作中也廣泛的用到了redis來充當cachekey-value DB,但當大家發現數據越來越多時,不禁有些擔心,redis能撐的住嗎,雖然官方已經有漂亮的benchmark,自己也可以做做壓力測試,但是看看源碼,也是確認問題最直接的辦法之一。比如目前我們要確認的一個問題是,redis是如何刪除過期數據的?

用一個可以"find reference"IDE,沿著setex(Set the value and expiration of a key)命令一窺究竟:

void setexCommand(redisClient *c) {
    c
->argv[3= tryObjectEncoding(c->argv[3]);
    setGenericCommand(c,
0,c->argv[1],c->argv[3],c->argv[2]);
}

setGenericCommand是一個實現set,setnx,setex的通用函數,參數設置不同而已。

void setCommand(redisClient *c) {
    c
->argv[2= tryObjectEncoding(c->argv[2]);
    setGenericCommand(c,
0,c->argv[1],c->argv[2],NULL);
}
 
void setnxCommand(redisClient *c) {
    c
->argv[2= tryObjectEncoding(c->argv[2]);
    setGenericCommand(c,
1,c->argv[1],c->argv[2],NULL);
}
 
void setexCommand(redisClient *c) {
    c
->argv[3= tryObjectEncoding(c->argv[3]);
    setGenericCommand(c,
0,c->argv[1],c->argv[3],c->argv[2]);
}

再看setGenericCommand

 1 void setGenericCommand(redisClient *c, int nx, robj *key, robj *val, robj *expire) {
 2     long seconds = 0/* initialized to avoid an harmness warning */
 3 
 4     if (expire) {
 5         if (getLongFromObjectOrReply(c, expire, &seconds, NULL) != REDIS_OK)
 6             return;
 7         if (seconds <= 0) {
 8             addReplyError(c,"invalid expire time in SETEX");
 9             return;
10         }
11     }
12 
13     if (lookupKeyWrite(c->db,key) != NULL && nx) {
14         addReply(c,shared.czero);
15         return;
16     }
17     setKey(c->db,key,val);
18     server.dirty++;
19     if (expire) setExpire(c->db,key,time(NULL)+seconds); 
20     addReply(c, nx ? shared.cone : shared.ok);
21 }
22 

13行處理"Set the value of a key, only if the key does not exist"的場景,17行插入這個key19行設置它的超時,注意時間戳已經被設置成了到期時間。這里要看一下redisDb(c->db)的定義:

typedef struct redisDb {
    dict 
*dict;                 /* The keyspace for this DB */
    dict 
*expires;              /* Timeout of keys with a timeout set */
    dict 
*blocking_keys;        /* Keys with clients waiting for data (BLPOP) */
    dict 
*io_keys;              /* Keys with clients waiting for VM I/O */
    dict 
*watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    
int id;
} redisDb;

僅關注dictexpires,分別來存key-value和它的超時,也就是說如果一個key-value是有超時的,那么它會存在dict里,同時也存到expires里,類似這樣的形式:dict[key]:value,expires[key]:timeout.

當然key-value沒有超時,expires里就不存在這個key剩下setKeysetExpire兩個函數無非是插數據到兩個字典里,這里不再詳述。


那么redis是如何刪除過期key的呢。

通過查看dbDelete的調用者,首先注意到這一個函數,是用來刪除過期key的。

 1 int expireIfNeeded(redisDb *db, robj *key) {
 2     time_t when = getExpire(db,key);
 3 
 4     if (when < 0return 0/* No expire for this key */
 5 
 6     /* Don't expire anything while loading. It will be done later. */
 7     if (server.loading) return 0;
 8 
 9     /* If we are running in the context of a slave, return ASAP:
10      * the slave key expiration is controlled by the master that will
11      * send us synthesized DEL operations for expired keys.
12      *
13      * Still we try to return the right information to the caller, 
14      * that is, 0 if we think the key should be still valid, 1 if
15      * we think the key is expired at this time. */
16     if (server.masterhost != NULL) {
17         return time(NULL) > when;
18     }
19 
20     /* Return when this key has not expired */
21     if (time(NULL) <= when) return 0;
22 
23     /* Delete the key */
24     server.stat_expiredkeys++;
25     propagateExpire(db,key);
26     return dbDelete(db,key);
27 }
28 

ifNeed表示能刪則刪,所以4行沒有設置超時不刪,7行在"loading"時不刪,16行非主庫不刪,21行未到期不刪。25行同步從庫和文件。

再看看哪些函數調用了expireIfNeeded,有lookupKeyReadlookupKeyWritedbRandomKeyexistsCommandkeysCommand。通過這些函數命名可以看出,只要訪問了某一個key,順帶做的事情就是嘗試查看過期并刪除,這就保證了用戶不可能訪問到過期的key。但是如果有大量的key過期,并且沒有被訪問到,那么就浪費了許多內存。Redis是如何處理這個問題的呢。


dbDelete的調用者里還發現這樣一個函數:

 1 /* Try to expire a few timed out keys. The algorithm used is adaptive and
 2  * will use few CPU cycles if there are few expiring keys, otherwise
 3  * it will get more aggressive to avoid that too much memory is used by
 4  * keys that can be removed from the keyspace. */
 5 void activeExpireCycle(void) {
 6     int j;
 7 
 8     for (j = 0; j < server.dbnum; j++) {
 9         int expired;
10         redisDb *db = server.db+j;
11 
12         /* Continue to expire if at the end of the cycle more than 25%
13          * of the keys were expired. */
14         do {
15             long num = dictSize(db->expires);
16             time_t now = time(NULL);
17 
18             expired = 0;
19             if (num > REDIS_EXPIRELOOKUPS_PER_CRON)
20                 num = REDIS_EXPIRELOOKUPS_PER_CRON;
21             while (num--) {
22                 dictEntry *de;
23                 time_t t;
24 
25                 if ((de = dictGetRandomKey(db->expires)) == NULL) break;
26                 t = (time_t) dictGetEntryVal(de);
27                 if (now > t) {
28                     sds key = dictGetEntryKey(de);
29                     robj *keyobj = createStringObject(key,sdslen(key));
30 
31                     propagateExpire(db,keyobj);
32                     dbDelete(db,keyobj);
33                     decrRefCount(keyobj);
34                     expired++;
35                     server.stat_expiredkeys++;
36                 }
37             }
38         } while (expired > REDIS_EXPIRELOOKUPS_PER_CRON/4);
39     }
40 }
41 

這個函數的意圖已經有說明:刪一點點過期key,如果過期key較少,那也只用一點點cpu25行隨機取一個key38行刪key成功的概率較低就退出。這個函數被放在一個cron里,每毫秒被調用一次。這個算法保證每次會刪除一定比例的key,但是如果key總量很大,而這個比例控制的太大,就需要更多次的循環,浪費cpu,控制的太小,過期的key就會變多,浪費內存——這就是時空權衡了。

 

最后在dbDelete的調用者里還發現這樣一個函數:

/* This function gets called when 'maxmemory' is set on the config file to limit
 * the max memory used by the server, and we are out of memory.
 * This function will try to, in order:
 *
 * - Free objects from the free list
 * - Try to remove keys with an EXPIRE set
 *
 * It is not possible to free enough memory to reach used-memory < maxmemory
 * the server will start refusing commands that will enlarge even more the
 * memory usage.
 
*/
void freeMemoryIfNeeded(void)

這個函數太長就不再詳述了,注釋部分說明只有在配置文件中設置了最大內存時候才會調用這個函數,而設置這個參數的意義是,你把redis當做一個內存cache而不是key-value數據庫。


以上3種刪除過期key的途徑,第二種定期刪除一定比例的key是主要的刪除途徑,第一種“讀時刪除”保證過期key不會被訪問到,第三種是一個當內存超出設定時的暴力手段。由此也能看出redis設計的巧妙之處,

posted on 2011-11-29 19:57 阿二 閱讀(14904) 評論(1)  編輯 收藏 引用 所屬分類: redis

評論

# re: redis如何刪除過期數據 2011-11-30 09:25 zuhd

關注下 redis這么火 打算研究下  回復  更多評論   


只有注冊用戶登錄后才能發表評論。
網站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


導航

統計

常用鏈接

留言簿

隨筆分類

隨筆檔案

搜索

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            久久综合影音| 亚洲视频精品| 尤物九九久久国产精品的特点| 国产在线观看91精品一区| 在线免费观看欧美| 亚洲香蕉成视频在线观看| 久久99伊人| 亚洲日本激情| 亚洲影视在线播放| 久久亚洲精品一区| 一本大道久久精品懂色aⅴ| 久久国产精品免费一区| 欧美日韩一区三区四区| 亚洲国产精品一区二区第四页av| 午夜视频在线观看一区二区三区| 欧美二区乱c少妇| 亚洲影院污污.| 欧美精品在线视频| 精品成人一区二区三区四区| 午夜精品久久久久影视| 欧美在线日韩精品| 国产精品一区三区| 一区二区av| 亚洲黄色尤物视频| 美日韩精品免费| 伊人久久婷婷| 99在线热播精品免费| 国产私拍一区| 久久国产99| 欧美韩国日本综合| 亚洲日本va午夜在线电影| 久久精品免费播放| 午夜久久久久| 国产欧美精品在线播放| 欧美一区激情| 欧美在线视频免费观看| 亚洲美女av电影| 亚洲精品四区| 国产精品入口日韩视频大尺度| 亚洲一区二区久久| 久久久久综合网| 在线观看福利一区| 亚洲一区二区三区四区五区午夜| 亚洲第一毛片| 欧美一区二区国产| 亚洲国产日韩欧美在线图片| 亚洲第一区在线观看| 欧美激情一区二区三区在线视频| 日韩一区二区精品视频| 在线视频亚洲| 国产在线观看精品一区二区三区| 99亚洲一区二区| 亚洲日本中文字幕| av成人免费在线| 亚洲精品久久久久久久久| 欧美在线一二三四区| 香蕉国产精品偷在线观看不卡| 午夜在线精品偷拍| 亚洲伊人观看| 欧美日韩久久不卡| 久久久久久有精品国产| 欧美国产精品劲爆| 欧美成ee人免费视频| 欧美日韩在线看| 亚洲精品九九| 中国女人久久久| 欧美三级韩国三级日本三斤| 欧美在线亚洲在线| 国产欧美综合一区二区三区| 亚洲一区在线直播| 欧美在线免费播放| 国产亚洲一级高清| 一区二区欧美视频| 亚洲精品久久在线| 欧美精品久久久久久久| 91久久视频| 亚洲性夜色噜噜噜7777| 国产精品99一区| 欧美激情一区二区三区全黄 | 亚洲图片在区色| 亚洲第一精品电影| 免费日韩av| 久久综合九色综合欧美就去吻 | 欧美揉bbbbb揉bbbbb| av成人国产| 欧美一区视频在线| 伊人夜夜躁av伊人久久| 另类春色校园亚洲| 日韩午夜视频在线观看| 亚洲精品国久久99热| 欧美精品免费播放| 亚洲综合精品四区| 亚洲欧美色一区| 激情综合视频| 欧美精品一区二区在线观看| 亚洲一区二区黄| 开心色5月久久精品| 国产在线不卡精品| 欧美a级片网| 亚洲欧美日韩国产精品| 午夜视频在线观看一区| 一区在线免费观看| 欧美色图五月天| 久久久精品国产免费观看同学 | 亚洲黄色免费网站| 欧美视频官网| 久久久久欧美精品| 一区二区三区久久精品| 米奇777超碰欧美日韩亚洲| 国产午夜精品全部视频在线播放| 久久久最新网址| 亚洲一区二区在线播放| 欧美国产视频一区二区| 欧美怡红院视频| 亚洲美女视频在线观看| 国内精品国产成人| 欧美午夜www高清视频| 久久久久久久久久久久久久一区| av不卡在线看| 亚洲国产欧美日韩精品| 99这里有精品| 在线观看一区| 国产欧美精品xxxx另类| 欧美日韩综合精品| 欧美aaa级| 狂野欧美一区| 久久国产精品99国产精| 亚洲你懂的在线视频| 亚洲精品视频啊美女在线直播| 久久综合中文| 久久欧美肥婆一二区| 欧美亚洲三区| 欧美一区2区三区4区公司二百| 亚洲美女尤物影院| 91久久综合亚洲鲁鲁五月天| 黄色成人免费观看| 欧美精品一区二区三区在线看午夜| 久久精品国产久精国产一老狼| 亚洲欧美日韩综合| 亚洲免费视频网站| 亚洲永久精品大片| 亚洲综合成人婷婷小说| 亚洲一区二区三区中文字幕在线| 日韩视频免费大全中文字幕| 亚洲激情国产精品| 亚洲人线精品午夜| 亚洲精品一区二区三区在线观看 | 欧美一区二区三区另类| 亚洲男人天堂2024| 亚洲国产欧美国产综合一区| 伊人成人网在线看| 一区二区三区中文在线观看 | 激情六月婷婷久久| 精品999日本| 亚洲国产精品一区二区www| 亚洲国产成人不卡| 日韩视频在线免费| 亚洲一区二区av电影| 亚洲欧美在线一区| 欧美一区二区播放| 久久久久久久97| 亚洲视频一起| 小黄鸭精品aⅴ导航网站入口| 欧美一级淫片播放口| 久久久久国产精品麻豆ai换脸| 久久免费视频网| 亚洲电影免费观看高清完整版在线观看 | 亚洲尤物在线视频观看| 亚洲欧美日韩在线综合| 久久久五月婷婷| 欧美激情亚洲激情| 国产精品久久毛片a| 欧美激情第三页| 国产精品日韩| 亚洲福利视频一区二区| 亚洲午夜精品久久久久久浪潮| 欧美在线免费观看| 亚洲国产mv| 亚洲欧美国产日韩天堂区| 免费91麻豆精品国产自产在线观看| 欧美另类视频在线| 国产真实乱偷精品视频免| 日韩一区二区免费看| 欧美在线视频一区| 亚洲高清av在线| 性欧美xxxx视频在线观看| 欧美大片免费| 欧美成人免费在线| 国产美女精品视频免费观看| 亚洲丁香婷深爱综合| 亚洲私人影院在线观看| 另类国产ts人妖高潮视频| 日韩一区二区免费看| 久久久久亚洲综合| 国产精品日日摸夜夜摸av| 日韩视频亚洲视频| 蜜臀va亚洲va欧美va天堂| 亚洲综合丁香| 欧美日韩国产成人在线观看 | 免费日韩精品中文字幕视频在线|