青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

foxriver
Keep It Simple and Stupid.
posts - 12,  comments - 39,  trackbacks - 0

當QQ群聊天記錄日積月累,達到一定數量級的時候,要查找某些單一文字,往往會花費10幾秒甚至幾分鐘才有反應。除去磁盤讀取的時間,是否對聊天記錄做一個全局索引也是個重要的優化,這篇文章就是為了優化文本查找速度,介紹一個最簡單的方法。

試著把QQ每條聊天記錄看成SQL里單一記錄,對單條記錄做全文索引。這里用的方法是bit位快速匹配。假設一條聊天記錄是"test", 轉換成16進制,就是"74 65 73 74", 對單條記錄,定義196位bit空間(占用24字節),定義為數組A, 然后按bit層(注意不是字節)做or操作:  (A = A or N, 把A的第N個bit設置為1)

初始狀態:
A = 0;        // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

A = A or 0x74; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x10,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
A = A or 0x65; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x10,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
A = A or 0x73; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x18,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
A = A or 0x74; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x18,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

使用時,給需要查找的字符串建立相同大小的bit索引B,對查找數據"es"做相同處理:

B = 0;
B = B or 0x65; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】
B = B or 0x73; // 【0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x20,0x00,0x08,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00】

然后把A和B做and操作,如果結果為空(完全沒有交集),則可以快速跳過這條記錄,而不用去判斷實際內容中是否包含了查找文本。

if (B & A)
{
  // 兩者索引存在交集,有一定的可能性,處理進一步文字查找操作。
}
else
{
  // 兩者不可能有包含關系,直接跳過本條記錄內容,判斷數據庫下一條記錄。
}

原理很簡單,就是求兩者的交集,但往往簡單的索引,能帶來意想不到的速度提升。實際測試中,只要輸入的查找文本比較短小,大約30%~60%上下浮動的數據都能直接略過,大大節省了查找總耗時。

本人實現中,中文的查找方法相當于兩個單字節的英文,為了最大效率利用空間,用算法把中文每個BYTE都壓縮在196bit之內。

posted on 2011-01-14 01:22 foxriver 閱讀(2237) 評論(6)  編輯 收藏 引用

FeedBack:
# re: C++ 【原創算法】實現一個最簡單bit位全文查找索引。
2011-01-14 09:30 | atyuwen
你這個不就是bloom filter的山寨版么,而且hash時并沒有考慮到pattern中的字母順序,結果退化成了一個普通的字符集求交。  回復  更多評論
  
# re: C++ 實現一個最簡單bit位全文查找索引。
2011-01-14 09:42 | foxriver
@atyuwen

啥,已經有人實現過了?有點杯具,去找來bloom filter研究研究。  回復  更多評論
  
# re: C++ 【山寨算法】實現一個最簡單bit位全文查找索引。
2011-01-14 12:03 | waiting4you
和布隆算法還是不太一樣的,有創意~~
只是有個地方沒看懂,A = A or 0x74怎么運算呢?怎么得到...0x16...的?謝謝  回復  更多評論
  
# re: C++ 【山寨算法】實現一個最簡單bit位全文查找索引。
2011-01-14 14:28 | foxriver
@waiting4you

杯具,測試數據寫錯了,是十進制的結果,被我寫成了16進制,已經修正。感謝。  回復  更多評論
  
# re: C++ 【山寨算法】實現一個最簡單bit位全文查找索引。
2011-01-14 21:50 | qiuxiafei
額 確實是bloomfilter....
不過還是很贊 異曲同工  回復  更多評論
  
# re: C++ 【山寨算法】實現一個最簡單bit位全文查找索引。
2011-02-12 17:57 | 隨便寫寫~~
@waiting4you
嘗試做了下,還不錯~~

public void or(byte[] input, byte index) {
int move = index % 8;
int fix = index / 8;
input[fix] |= (byte)(1 << move);
}

public bool and(byte[] input1, byte[] input2) {
for (int i = 0; i < input1.Length; i++) {
int x = input1[i] & input2[i];
if (x > 0)
return true;
}
return false;
}  回復  更多評論
  

<2025年9月>
31123456
78910111213
14151617181920
21222324252627
2829301234
567891011

常用鏈接

留言簿(3)

隨筆檔案

文章檔案

相冊

1

搜索

  •  

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美日韩xxxxx| 欧美人与禽猛交乱配视频| 国产日韩欧美电影在线观看| 欧美影院一区| 欧美一区在线直播| 亚洲国产天堂久久综合| 日韩亚洲欧美一区二区三区| 国产精品一区二区三区乱码 | 国产精品美女www爽爽爽视频| 亚洲在线观看| 欧美一级片在线播放| 亚洲电影欧美电影有声小说| 亚洲美女中文字幕| 国产日韩在线亚洲字幕中文| 蜜桃久久精品乱码一区二区| 欧美精品激情blacked18| 亚洲欧美精品在线| 久久精品一二三区| a91a精品视频在线观看| 午夜久久久久久| 亚洲精品欧美日韩| 亚洲自拍偷拍福利| 91久久精品美女| 国产精品国产三级国产| 老司机免费视频久久| 欧美日韩ab| 久久综合激情| 欧美午夜a级限制福利片| 国产精品黄色| 欧美激情第9页| 国产欧美日韩在线视频| 亚洲国产欧美在线| 欧美日韩国产限制| 免费中文日韩| 国产日韩一区二区三区在线| 亚洲日本无吗高清不卡| 一区二区在线看| 亚洲午夜av| 99视频精品免费观看| 久久婷婷国产综合精品青草| 午夜精品久久久久久久久久久| 欧美**人妖| 男人的天堂亚洲在线| 国产日本欧洲亚洲| 夜夜嗨av一区二区三区免费区| 亚洲人www| 麻豆精品在线观看| 美女被久久久| 黄色成人av在线| 亚洲欧美国产三级| 午夜国产精品视频| 欧美图区在线视频| 日韩一二在线观看| 一区二区三区四区国产精品| 欧美成人精品一区| 欧美国产综合视频| 亚洲东热激情| 欧美r片在线| 欧美高清在线一区二区| 在线观看欧美日韩| 毛片一区二区三区| 欧美国产大片| 亚洲激情欧美激情| 欧美激情国产日韩| 亚洲乱码视频| 亚洲欧美日韩视频一区| 国产精品免费一区二区三区在线观看| 9久草视频在线视频精品| 亚洲一级黄色av| 国产精品久久久久久久午夜片| 中日韩在线视频| 欧美一级久久久久久久大片| 国产精品婷婷| 欧美一区二区三区久久精品茉莉花 | 久久精品视频免费观看| 久久免费精品日本久久中文字幕| 狠狠色丁香婷婷综合影院| 先锋影音久久久| 欧美在线黄色| 亚洲福利视频网| 欧美高清在线一区| 在线午夜精品自拍| 亚洲欧美视频在线观看| 国产专区精品视频| 欧美mv日韩mv国产网站app| 亚洲激情社区| 亚洲一区不卡| 伊人影院久久| 免费欧美在线| 亚洲自拍啪啪| 欧美18av| 一区二区欧美在线| 国产一区二区在线免费观看 | 欧美成人自拍| 中文在线资源观看网站视频免费不卡 | 欧美成人精品一区二区三区| 在线亚洲成人| 免费成人黄色片| 亚洲视频一区在线观看| 国产一区二区三区网站| 欧美激情视频网站| 久久精品日韩| 在线综合亚洲| 亚洲第一精品久久忘忧草社区| 亚洲在线免费观看| 亚洲第一页在线| 国产精品视频免费一区| 欧美寡妇偷汉性猛交| 亚洲综合欧美日韩| 亚洲精品免费网站| 玖玖综合伊人| 欧美综合国产精品久久丁香| 日韩系列在线| 亚洲电影网站| 国产日本欧美一区二区三区| 欧美日韩国产页| 免费视频一区| 久久久97精品| 性欧美1819sex性高清| 一区二区激情小说| 亚洲美女诱惑| 91久久精品国产91久久性色| 久久免费国产精品1| 欧美一区二视频| 亚洲一级二级| 夜夜精品视频| 亚洲国产日韩欧美在线图片| 久久亚洲风情| 久久久久亚洲综合| 久久精品免费电影| 久久国产黑丝| 久久久xxx| 久久久久久久久蜜桃| 午夜宅男久久久| 亚洲一区二区成人| 亚洲婷婷综合色高清在线| 中日韩男男gay无套| 一区二区欧美日韩| 亚洲一区二区三区在线播放| 亚洲一区在线观看视频| 亚洲网站在线播放| 亚洲影院污污.| 午夜精品三级视频福利| 欧美一区二区三区在线观看视频| 午夜精品久久久久久久99热浪潮| 亚洲欧美日韩中文在线制服| 亚洲主播在线播放| 欧美尤物巨大精品爽| 久久嫩草精品久久久久| 免费日韩精品中文字幕视频在线| 欧美不卡一卡二卡免费版| 欧美激情中文字幕乱码免费| 亚洲国产高清视频| 亚洲精品一区在线观看香蕉| 一区二区三区免费网站| 亚洲欧美另类中文字幕| 久久av一区| 欧美黄色免费网站| 国产精品久久久久7777婷婷| 国产农村妇女精品一二区| 国产综合色一区二区三区| 亚洲福利专区| 亚洲一级二级| 久久亚洲综合色一区二区三区| 免费久久精品视频| 亚洲日本欧美天堂| 午夜精品影院在线观看| 美日韩免费视频| 欧美日精品一区视频| 国产一区二区三区自拍| 欧美日韩免费在线视频| 国产欧美一区二区精品忘忧草| 亚洲高清免费视频| 亚洲欧美日韩中文播放| 欧美gay视频| 亚洲婷婷综合色高清在线| 久久久www成人免费无遮挡大片| 欧美—级a级欧美特级ar全黄| 国产伦精品一区二区三区视频黑人 | 国产精品色网| 亚洲人成网站在线观看播放| 亚洲综合清纯丝袜自拍| 亚洲第一主播视频| 香蕉成人啪国产精品视频综合网| 麻豆成人小视频| 国产欧美精品日韩| 一本一本久久a久久精品牛牛影视| 久久精品在线播放| 亚洲精品久久视频| 久久久水蜜桃| 国产日韩高清一区二区三区在线| 亚洲日本激情| 久久综合伊人77777尤物| 亚洲一级黄色av| 欧美激情综合五月色丁香| 国内久久视频| 久久激情五月婷婷| 亚洲图片欧美一区| 欧美精品亚洲一区二区在线播放| 在线精品高清中文字幕|