SQLite的一個顯著的特點就是占用內存量很小,這作為一個嵌入式的DBMS是非常重要的,那么我下面就對這個問題從根本上分析它是如何做到“小內存”的。
一、ORDER BY查詢中內存使用情況
由于SQLite的執行都是先把SQL語句轉化成指令再執行,所以下面就先一條條的分析一下它所用到的指令。先建立一個表再插入下面的數據,然后再用explain操作來得到那些指令。下面就是它們的具體操作以及解釋。
Sqlite> create table stu (sno int, name text, sex text, age int);
Sqlite > insert into stu values (1,'aa','n', 21);
Sqlite > insert into stu values (2,'bb','m', 18);
Sqlite > insert into stu values (3,'yy','m', 17);
Sqlite > insert into stu values (4,'xx','n', 19);
Sqlite > insert into stu values (5,'ee','n', 20);
Sqlite > insert into stu values (5,'ee','n', 24);
Sqlite > insert into stu values (6,'fe','m', 34);
Sqlite > explain select * from stu order by age;

下面是制作一個record的過程。

下面是record5的數據結構,也就是執行第十條指令后的結果:(記錄1)
Hdr-size | Int | Text | Text | Int | Sno | Name | Sex | age |
再執行11-14條指令后得到的結果為:(記錄2)
Hdr-size | Int | Text | Text | age | sequence | Record5 |
再執行第15條指令是將最后得到的一個record插入到臨時數據庫文件1中,也就是執行Open Ephemeral后得到的數據文件。就象上面一直循環將所有要排序的數據插入到臨時數據庫中。
再執行第19條指令,打開的是個臨時表,這個表的特點就是這個表中只有一條記錄,每當插入第二條記錄第一條就會自動被刪除,這樣可以節約內存的使用。
再執行第20條指令,循環遍歷臨時數據庫文件1的數據。
再執行第21條指令,這是從數據庫1中得到第3列放到amem[]第5個位中,也就是取出上面記錄2中的Record5值,也就是記錄1,放到第五位。
再執行第22條指令,它是把一個整數值(代表一個鍵值)放到第九位。
再下來執行第23條指令,它是將amem第5位中的數據(記錄1)和第9位的鍵值取出來插入到表2中,此時得到的數據就是原來的數據。
再下來的指令就是從這條指令中把數據取出做下面的工作,比如輸出或者是計數等操作。
這里實現排序功能的就是IdxInsert指令和,因為它是將得到的帶有排序關鍵字的記錄插入到B樹的合適位置,再執行第21條指令的時候一條條的把數據取出來,這樣就是有序的數據了。
而對于內存的使用來說,也就是在這個問題上,因為其它操作都是在計算,不用什么內存的,而它用內存就是看它是把數據存放到什么地方了,很明顯它是存在數據庫1中的,那么問題就是說數據庫1的建立是的是在磁盤上還是內存中,也就是指令OP_OpenEphemeral的執行情況:
allocateCursor();//先給它分配游標
再下來創建數據庫:
sqlite3BtreeFactory (db, 0, 1, SQLITE_DEFAULT_TEMP_CACHE_SIZE, openFlags, &pCx->pBt);
在這個函數中會判斷它是創建什么類型的數據庫,這里是用第二個參數決定類型的,如果不為空且是個具體的名字,那么就調用sqlite3BtreeOpen()函數打開即可,如果是":memory:",那么直接在內存中建立,如果為0,說明就是虛數據庫,可以是在內存也可以是數據庫文件,這會決定于兩個條件:
SQLITE_TEMP_STORE和db->temp_store==2,下面是它們的決定方式:

這說明這個排序也不會給內存使用帶來很大的影響。
下面再根據代碼分析它執行IdxInsert的內存使用情況:
它也是執行函數:sqlite3BtreeInsert(pCrsr, zKey, nKey, "", 0, 0, pOp->p3);只是它在這里不插入數據只插入關鍵字Key,這個zKey其實就是上面所說的記錄2,執行這個函數過程中,首先它申請臨時空間,調用函數allocateTempSpace(pBt),這個操作申請到的空間一般是固定的,為1024B,也就是一個頁面的大小,隨著page_size變化。這1K內存就是它執行排序時比其它不排序的多出來的內存使用量。但是這個TempSpace對于一個Btshared對象來說只有一個,當申請后再就不能申請了。
上面那個插入操作函數再調用fillInCell(),這里是真正的將數據插入到臨時數據庫中的操作,首先是將數據插入到申請到的臨時內存空間中,如果空間用完就再從磁盤中申請頁面來存儲溢出數據。
二、下面再具體算一下總共所用的3M內存用到何處了。
1) 首先打開一個數據庫自動要分配2000個頁面,也就是2000K
2) 再下來執行指令Open Ephemeral,內存分配情況如下圖:
3) 再就是OpenRead指令:這里也是為主數據庫分配一個游標,大小為300K
4) 再下來執行Idxinsert要分配1024B的臨時內存空間
5) 執行OpenPseudo指令打開一個游標也要300B的空間
共使用2502K空間

從上面可以看出,其實內存空間的應該只是它自身的一些初始分配,對于這個操作,額外的應用是很少的,2502K這個數和經測試的3M也相差不多。
三、再下來討論一下Pager是如何來管理頁面的
在打開數據庫的時候首先會把Pager的頁面數設置成2000個,執行函數sqlite3_open()的時候它會調用openDatabase()函數,再調用sqlite3BtreeFactory(),這個函數的一個參數在這里是用了一個默認值SQLITE_DEFAULT_CACHE_SIZE,它是2000,這是Pager的最大的頁面數,再通過sqlite3BtreeSetCacheSize(*ppBtree, nCache)設置這個最大頁面數,接下來應用內存的操作是在遍歷數據庫的時候,首先執行指令OP_Rewind,它會找到要查詢的B樹的第一個記錄,也同時把第一個頁面調入內存,通過執行getAndInitPage(pBt, pCur->pgnoRoot, &pCur->apPage[0])操作,這樣再繼續執行下面的指令來取數據以及對數據進行處理,等到循環第二次的時候執行OP_next指令,它其實是要找到下一條數據,首先判斷此數據的索引值是否可以在現在游標所處的頁面的內存單元之外,如果是那么說明在這個頁面中已經找不到,那么就再在內存中找這個頁面,因為這個頁面有可能因為以前的操作已經把它放入內存中了,如果能找到就返回這個頁面指針,如果找不到的話再去已經閑置不用的隊列中找合適的頁面來用,如果能找到就用這個,如果找不到就再新建一個頁面。
那么再下來對上面得到的頁面進行初始化:數據就是在數據庫文件中到需要的頁面并且將這個頁面的數據讀到剛才得到的新頁面中,這樣就完成了一次數據的搜索,每次執行OP_next指令的操作都是這樣,如此反復直到讀完數據為止……
四、多表連接的內存使用情況分析
多表連接的做法已經在前面查詢優化中講過了,至于它的內存使用其實和普通的查詢基本是一樣的,只不過是多了幾個游而已,有幾個表連接就打開幾個對應的游標,再另加一個用于輸出的游標,所以內存和普通查詢基本相同,這里不再敘述。
五、建立索引的內存使用情況。
索引的建立是將數據生成關鍵字再把它們插入到B樹的合適位置中去,B樹是存儲在文件中的,所以使用內存的數量和前面討論過的排序中執行指令idxinsert是相同的,所以內存使用也是很小,這里不再敘述。
六、插入操作的內存使用情況
插入操作分兩種情況,一種就是自動提交,這樣就是執行一次就提交一次,這個過程中,存在內存中的數據量不會很大,所以插入操作使用內存情況就是一條數據的大小。
而如果是將插入放到BEGIN和COMMIT語句之間的話,那么這就是手動提交,中間執行的操作都會保存在內存中,插入多少條保存多少的數據,這很明顯占內存量就是很大了。與在這兩個語句中插入的數據量成正比。
七、更新操作的內存使用情況
更新操作使用內存比較大,因為在SQLite中,更新會采用兩個步驟進行,第一步先是把滿足條件的數據找出來存到一個RowSet的內存單元中,對數據遍歷完一遍后再將這些數據從RowSet中取出來,再一條條的更新,所以數據多的話使用內存就會很大,其中放到RowSet中的指令為OP_RowSetAdd,它會執行一個插入函數sqlite3RowSetInsert(),在這個函數中要對內存空間進行管理,如果還有空間就繼續插入,沒有空間就再申請。
八、刪除操作的內存使用情況
刪除操作使用內存比較大,因為在SQLite中,刪除會采用兩個步驟進行,第一步先是把滿足條件的數據找出來存到一個RowSet的內存單元中,對數據遍歷完一遍后再將這些數據從RowSet中取出來,再一條條的刪除,所以數據多的話使用內存就會很大,其中放到RowSet中的指令為OP_RowSetAdd,它會執行一個插入函數sqlite3RowSetInsert(),在這個函數中要對內存空間進行管理,如果還有空間就繼續插入,沒有空間就再申請。