問題

   最近游戲開始技術(shù)封測了，不過剛剛上線3個小時，Server就掛了，掛在框架代碼里，一個不可能掛的地方。
從CallStack看，是在獲取數(shù)據(jù)時發(fā)送請求包的時候掛的，由于框架部分是其他部門的同事開發(fā)的，所以查問題的時候就拉上他們了，
大家折騰了2天，沒有實質(zhì)性的進展，服務(wù)器還是基本上每3個小時宕機一次。由于上層邏輯大部分都在我那，所以壓力比較大，宕機的直接原因是hashtable的一個桶的指針異常，
這個hashtable是框架代碼的一個內(nèi)部成員，按道理我們是無從破壞的，只有可能是多線程環(huán)境下迭代器損壞導(dǎo)致的。
但是框架代碼在這個地方確實無懈可擊，所以真正的原因應(yīng)該還是上層代碼破壞了堆內(nèi)存，很可能是一個memcpy越界導(dǎo)致的。這畢竟是個猜想，如何找到證據(jù)呢，這是個問題。
把所有代碼里的memcpy瀏覽了一遍，沒有發(fā)現(xiàn)明顯問題。

猜測

  一般游戲中比較容易出現(xiàn)但是不好查的問題很多時候都是腳本（lua）導(dǎo)致的，我們的腳本部分是一個同事幾年前寫的，在幾個產(chǎn)品中都使用過，按道理沒這么脆弱，不過老大還是和最初開發(fā)這個模塊的部門溝通了下，
還真發(fā)現(xiàn)問題了，趕緊拿了新的版本更新上去。經(jīng)過一天的觀察，服務(wù)器沒有宕機了，OK，問題碰巧解決了,背了這么久的黑鍋，終于放下來了。

PageHeap

   假如沒有碰巧解決了這個問題，正常的思路該如何解決這個問題呢，這個時候我懷念windows了，在windows下有PageHeap來解決這類寫越界的問題。基本思路就是每次分配內(nèi)存的時候，都將內(nèi)存的結(jié)尾放在頁的邊緣，緊接著這塊內(nèi)存分配一塊不能寫的內(nèi)存，這樣，一旦寫越界，就會寫異常，導(dǎo)致宕機。linux下沒有現(xiàn)成的工具，但是linux提供了mmap功能，我們可以自己實現(xiàn)這樣一個功能，當然，這一切都不用自己動手了，tcmalloc已經(jīng)包含了
這個功能了，不過在文檔里基本沒有介紹，我也是在閱讀tcmalloc代碼時看到的，這個功能默認是關(guān)閉的，打開這個開關(guān)需要改寫代碼：

這個代碼在debugallocation.cc里：

DEFINE_bool(malloc_page_fence,
            EnvToBool("TCMALLOC_PAGE_FENCE", false),
            "Enables putting of memory allocations at page boundaries "
            "with a guard page following the allocation (to catch buffer "
            "overruns right when they happen).");
把false改成true就可以了。
想要在項目里加入PageHeap功能，只需要鏈接的時候加上 -ltcmalloc_debug即可。把它加入項目中，試著運行下，直接掛了，
仔細一看，原來是項目中很多成員變量沒有初始化導(dǎo)致的，tcmalloc_debug會自動將new 和malloc出來的內(nèi)存初始化為指定值，這樣，一旦變量沒有初始化，很容易就暴露了。
修改完這個問題后，編譯，再運行，還是掛，這個是mprotect的時候掛的，錯誤是內(nèi)存不夠，這怎么可能呢，其實是達到了資源限制了。
echo 128000 > /proc/sys/vm/max_map_count
把map數(shù)量限制加大,再運行，OK了！
 
  但是游戲Server啟動后，發(fā)現(xiàn)一個問題，CPU長期處于100%，導(dǎo)致登陸一個玩家都很困難，gdb中斷后，info thread，發(fā)現(xiàn)大部分的操作都在mmap和mprotect,最開始
懷疑我的linux版本有問題，導(dǎo)致這2個AP慢，寫了測試程序試了下，發(fā)現(xiàn)其實API不慢，估計是頻繁調(diào)用導(dǎo)致的。
所以得換種思路優(yōu)化下才可以，其實大部分情況下，我們free的時候，無需將頁面munmap掉，可以先cache進來，下次分配的時候，如果有，直接拿來用就可以了。
最簡單的cache算法就是定義一個void* s_pageCache[50000]數(shù)組，頁面數(shù)相同的內(nèi)存組成一個鏈表，掛在一個數(shù)組項下，這個很像STL的小內(nèi)存處理，我們可以將mmap出來的內(nèi)存的
前面幾個字節(jié)(一個指針大小)用于索引下一個freePage。當然這個過程需要加鎖，不能用pthread的鎖（因為他們會調(diào)用malloc等內(nèi)存分配函數(shù)），必須用spinlock，從linux源碼里直接抄一個過來即可。
static void*   s_pagePool[MAX_PAGE_ALLOC]={0};

malloc的時候，先從pagePool里面獲取:
// 先從pagePool找
 void* pFreePage = NULL;
 spin_lock(&s_pageHeapLock);
 assert(nPageNum < MAX_PAGE_ALLOC);
 if(s_pagePool[nPageNum])
 {
   pFreePage = s_pagePool[nPageNum];
   void* pNextFreePage = *((void**)pFreePage);
   s_pagePool[nPageNum] = pNextFreePage;
 }
 spin_unlock(&s_pageHeapLock);

free內(nèi)存的時候，直接放到pagePoll里:
spin_lock(&s_pageHeapLock);
 assert(nPageNum < MAX_PAGE_ALLOC);
 void* pNextFree = s_pagePool[nPageNum];
 *(void**)pAddress = pNextFree;
 s_pagePool[nPageNum] = pAddress;
 
 spin_unlock(&s_pageHeapLock);

編譯、運行,OK了，CPU迅速降下來了，空載的時候不到1%,而且也能達到檢測寫溢出的問題。