http://blog.csdn.net/slmeng2002/article/details/5532771

最近關(guān)注erlang游戲服務器開發(fā)  erlang大牛寫的游戲服務器值得參考

介紹
本文以我的OpenPoker項目為例子，講述了一個構(gòu)建超強伸縮性的在線多游戲玩家系統(tǒng)。
OpenPoker是一個超強多玩家紙牌服務器，具有容錯、負載均衡和無限伸縮性等特性。
源代碼位于我的個人站點上，大概10,000行代碼，其中1/3是測試代碼。

在OpenPoker最終版本敲定之前我做了大量調(diào)研，我嘗試了Delphi、Python、C#、C/C++和Scheme。我還用Common Lisp寫了紙牌引擎。
雖然我花費了9個月的時間研究原型，但是最終重寫時只花了6個星期的時間。
我認為我所節(jié)約的大部分時間都得益于選擇Erlang作為平臺。

相比之下，舊版本的OpenPoker花費了一個4～5人的團隊9個月時間。

Erlang是什么東東？

我建議你在繼續(xù)閱讀本文之前瀏覽下Erlang FAQ，這里我給你一個簡單的總結(jié)...

Erlang是一個函數(shù)式動態(tài)類型編程語言并自帶并發(fā)支持。它是由Ericsson特別為控制開關(guān)、轉(zhuǎn)換協(xié)議等電信應用設(shè)計的。
Erlang十分適合構(gòu)建分布式、軟實時的并發(fā)系統(tǒng)。

由Erlang所寫的程序通常由成百上千的輕量級進程組成，這些進程通過消息傳遞來通訊。
Erlang進程間的上下文切換通常比C程序線程的上下文切換要廉價一到兩個數(shù)量級。

使用Erlang寫分布式程序很簡單，因為它的分布式機制是透明的：程序不需要了解它們是否分布。

Erlang運行時環(huán)境是一個虛擬機，類似于Java虛擬機。這意味著在一個價格上編譯的代碼可以在任何地方運行。
運行時系統(tǒng)也允許在一個運行著的系統(tǒng)上不間斷的更新代碼。
如果你需要額外的性能提升，字節(jié)碼也可以編譯成本地代碼。

請移步Erlang site，參考Getting started、Documentation和Exampes章節(jié)等資源。

為何選擇Erlang？

構(gòu)建在Erlang骨子里的并發(fā)模型特別適合寫在線多玩家服務器。

一個超強伸縮性的多玩家Erlang后端構(gòu)建為擁有不同“節(jié)點”的“集群”，不同節(jié)點做不同的任務。
一個Erlang節(jié)點是一個Erlang VM實例，你可以在你的桌面、筆記本電腦或服務器上上運行多個Erlang節(jié)點/VM。
推薦一個CPU一個節(jié)點。

Erlang節(jié)點會追蹤所有其他和它相連的節(jié)點。向集群里添加一個新節(jié)點所需要的只是將該新節(jié)點指向一個已有的節(jié)點。
一旦這兩個節(jié)點建立連接，集群里所有其他的節(jié)點都會知曉這個新節(jié)點。

Erlang進程使用一個進程id來相互發(fā)消息，進程id包含了節(jié)點在哪里運行的信息。進程不需要知道其他進程在哪里就可以通訊。
連接在一起的Erlang節(jié)點集可以看作一個網(wǎng)格或者超級計算設(shè)備。

超多玩家游戲里玩家、NPC和其他實體最好建模為并行運行的進程，但是并行很難搞是眾所皆知的。Erlang讓并行變得簡單。

Erlang的位語法∞讓它在處理結(jié)構(gòu)封裝/拆解的能力上比Perl和Python都要強大。這讓Erlang特別適合處理二進制網(wǎng)絡(luò)協(xié)議。

OpenPoker架構(gòu)
OpenPoker里的任何東西都是進程。玩家、機器人、游戲等等多是進程。
對于每個連接到OpenPoker的客戶端都有一個玩家“代理”來處理網(wǎng)絡(luò)消息。
根據(jù)玩家是否登錄來決定部分消息忽略，而另一部分消息則發(fā)送給處理紙牌游戲邏輯的進程。

紙牌游戲進程是一個狀態(tài)機，包含了游戲每一階段的狀態(tài)。
這可以讓我們將紙牌游戲邏輯當作堆積木，只需將狀態(tài)機構(gòu)建塊放在一起就可以添加新的紙牌游戲。
如果你想了解更多的話可以看看cardgame.erl的start方法。

紙牌游戲狀態(tài)機根據(jù)游戲狀態(tài)來決定不同的消息是否通過。
同時也使用一個單獨的游戲進程來處理所有游戲共有的一些東西，如跟蹤玩家、pot和限制等等。
當在我的筆記本電腦上模擬27,000個紙牌游戲時我發(fā)現(xiàn)我擁有大約136,000個玩家以及總共接近800,000個進程。

下面我將以O(shè)penPoker為例子，專注于講述怎樣基于Erlang讓實現(xiàn)伸縮性、容錯和負載均衡變簡單。
我的方式不是特別針對紙牌游戲。同樣的方式可以用在其他地方。

伸縮性
我通過多層架構(gòu)來實現(xiàn)伸縮性和負載均衡。
第一層是網(wǎng)關(guān)節(jié)點。
游戲服務器節(jié)點組成第二層。
Mnesia“master”節(jié)點可以認為是第三層。

Mnesia是Erlang實時分布式數(shù)據(jù)庫。Mnesia FAQ有一個很詳細的解釋。Mnesia基本上是一個快速的、可備份的、位于內(nèi)存中的數(shù)據(jù)庫。
Erlang里沒有對象，但是Mnesia可以認為是面向?qū)ο蟮?，因為它可以存儲任何Erlang數(shù)據(jù)。

有兩種類型的Mnesia節(jié)點：寫到硬盤的節(jié)點和不寫到硬盤的節(jié)點。除了這些節(jié)點，所有其他的Mnesia節(jié)點將數(shù)據(jù)保存在內(nèi)存中。
在OpenPoker里Mnesia master節(jié)點會將數(shù)據(jù)寫入硬盤。網(wǎng)關(guān)和游戲服務器從Mnesia master節(jié)點獲得數(shù)據(jù)庫并啟動，它們只是內(nèi)存節(jié)點。

當啟動Mnesia時，你可以給Erlang VM和解釋器一些命令行參數(shù)來告訴Mnesia master數(shù)據(jù)庫在哪里。
當一個新的本地Mnesia節(jié)點與master Mnesia節(jié)點建立連接之后，新節(jié)點變成master節(jié)點集群的一部分。

假設(shè)master節(jié)點位于apple和orange節(jié)點上，添加一個新的網(wǎng)關(guān)、游戲服務器等等。OpenPoker集群簡單的如下所示：

代碼: 

erl -mnesia extra_db_nodes /['db@apple','db@orange'/] -s mnesia start


-s mnesia start相當于這樣在erlang shell里啟動Mnedia：

代碼: 

erl -mnesia extra_db_nodes /['db@apple','db@orange'/]
Erlang (BEAM) emulator version 5.4.8 [source] [hipe] [threads:0]

Eshell V5.4.8 (abort with ^G)
1> mnesia:start().
ok

OpenPoker在Mnesia表里保存配置信息，并且這些信息在Mnesia啟動后立即自動被新的節(jié)點下載。零配置！

容錯
通過添加廉價的Linux機器到我的服務器集群，OpenPoker讓我隨心所欲的變大。
將幾架1U的服務器放在一起，這樣你就可以輕易的處理500,000甚至1,000,000的在線玩家。這對MMORPG也是一樣。

我讓一些機器運行網(wǎng)關(guān)節(jié)點，另一些運行數(shù)據(jù)庫master來寫數(shù)據(jù)庫事務到硬盤，讓其他的機器運行游戲服務器。
我限制游戲服務器接受最多5000個并發(fā)的玩家，這樣當游戲服務器崩潰時最多影響5000個玩家。

值得注意的是，當游戲服務器崩潰時沒有任何信息丟失，因為所有的Mnesia數(shù)據(jù)庫事務都是實時備份到其他運行Mnesia以及游戲服務器的節(jié)點上的。

為了預防出錯，游戲客戶端必須提供一些援助來平穩(wěn)的重連接OpenPoker集群。
一旦客戶端發(fā)現(xiàn)一個網(wǎng)絡(luò)錯誤，它應該連接網(wǎng)關(guān)，接受一個新的游戲服務器地址，然后重新連接新的游戲服務器。
下面發(fā)生的事情需要一定技巧，因為不同類型的重連接場景需要不同的處理。

OpenPoker會處理如下幾種重連接的場景：
1，游戲服務器崩潰
2，客戶端崩潰或者由于網(wǎng)絡(luò)原因超時
3，玩家在線并且在一個不同的連接上
4，玩家在線并且在一個不同的連接上并在一個游戲中

最常見的場景是一個客戶端由于網(wǎng)絡(luò)出錯而重新連接。
比較少見但仍然可能的場景是客戶端已經(jīng)在一臺機器上玩游戲，而此時從另一臺機器上重連接。

每個發(fā)送給玩家的OpenPoker游戲緩沖包和每個重連接的客戶端將首先接受所有的游戲包，因為游戲不是像通常那樣正常啟動然后接受包。
OpenPoker使用TCP連接，這樣我不需要擔心包的順序——包會按正確的順序到達。

每個客戶端連接由兩個OpenPoker進程來表現(xiàn)：socket進程和真正的玩家進程。
先使用一個功能受限的visitor進程，直到玩家登錄。例如visitor不能參加游戲。
在客戶端斷開連接后，socket進程死掉，而玩家進程仍然活著。

當玩家進程嘗試發(fā)送一個游戲包時可以通知一個死掉的socket，并讓它自己進入auto-play模式或者掛起。
在重新連接時登錄代碼將檢查死掉的socket和活著的玩家進程的結(jié)合。代碼如下：

代碼: 

login({atomic, [Player]}, [_Nick, Pass|_] = Args)
  when is_record(Player, player) ->
    Player1 = Player#player {
      socket = fix_pid(Player#player.socket),
      pid = fix_pid(Player#player.pid)
    },
    Condition = check_player(Player1, [Pass],
      [
        fun is_account_disabled/2,
        fun is_bad_password/2,
        fun is_player_busy/2,
        fun is_player_online/2,
        fun is_client_down/2,
        fun is_offline/2
      ]),
    ...

condition本身由如下代碼決定：

代碼: 

is_player_busy(Player, _) ->
  {Online, _} = is_player_online(Player, []),
  Playing = Player#player.game /= none,
  {Online and Playing, player_busy}.

is_player_online(Player, _) ->
  SocketAlive = Player#player.socket /= none,
  PlayerAlive = Player#player.pid /= none,
  {SocketAlive and PlayerAlive, player_online}.

is_client_down(Player, _) ->
  SocketDown = Player#player.socket == none,
  PlayerAlive = Player#player.pid /= none,
  {SocketDown and PlayerAlive, client_down}.

is_offline(Player, _) ->
  SocketDown = Player#player.socket == none,
  PlayerDown = Player#player.pid == none,
  {SocketDown and PlayerDown, player_offline}.


注意login方法的第一件事是修復死掉的進程id：

代碼: 

fix_pid(Pid)
  when is_pid(Pid) ->
    case util:is_process_alive(Pid) of
    true ->
      Pid;
    _->
      none
    end;

fix_pid(Pid) ->
    Pid.

以及：

代碼: 

-module(util).

-export([is_process_alive/1]).

is_process_alive(Pid)
  when is_pid(Pid) ->
    rpc:call(node(Pid), erlang, is_process_alive, [Pid]).

Erlang里一個進程id包括正在運行的進程的節(jié)點的id。
is_pid(Pid)告訴我它的參數(shù)是否是一個進程id(pid)，但是不能告訴我進程是活著還是死了。
Erlang自帶的erlang:is_process_alive(Pid)告訴我一個本地進程（運行在同一節(jié)點上）是活著還是死了，但沒有檢查遠程節(jié)點是或者還是死了的is_process_alive變種。

還好，我可以使用Erlang rpc工具和node(pid)來在遠程節(jié)點上調(diào)用is_process_alive()。
事實上，這跟在本地節(jié)點上一樣工作，這樣上面的代碼就可以作為全局分布式進程檢查器。

剩下的唯一的事情是在不同的登錄條件上活動。
最簡單的情況是玩家離線，我期待一個玩家進程，連接玩家到socket并更新player record。

代碼: 

login(Player, player_offline, [Nick, _, Socket]) ->
  {ok, Pid} = player:start(Nick),
  OID = gen_server:call(Pid, 'ID'),
  gen_server:cast(Pid, {'SOCKET', Socket}),
  Player1 = Player#player {
    oid = OID,
    pid = Pid,
    socket = Socket
  },
  {Player1, {ok, Pid}}.

假如玩家登陸信息不匹配，我可以返回一個錯誤并增加錯誤登錄次數(shù)。如果次數(shù)超過一個預定義的最大值，我就禁止該帳號：

代碼: 

login(Player, bad_password, _) ->
  N = Player#player.login_errors + 1,
  {atomic, MaxLoginErrors} =
  db:get(cluster_config, 0, max_login_errors),
  if
  N > MaxLoginErrors ->
    Player1 = Player#player {
      disabled = true
    },
    {Player1, {error, ?ERR_ACCOUNT_DISABLED}};
  true ->
    Player1 = Player#player {
      login_errors =N
    },
    {Player1, {error, ?ERR_BAD_LOGIN}}
  end;

login(Player, account_disabled, _) ->
    {Player, {error, ?ERR_ACCOUNT_DISABLED}};

注銷玩家包括使用Object ID（只是一個數(shù)字）找到玩家進程id，停止玩家進程，然后在數(shù)據(jù)庫更新玩家record：

代碼: 

logout(OID) ->
  case db:find(player, OID) of
  {atomic, [Player]} ->
    player:stop(Player#player.pid),
    {atomic, ok} = db:set(player, OID,
      [{pid, none},
      {socket, none}];
  _->
    oops
  end.

這樣我就可以完成多種重連接condition，例如從不同的機器重連接，我只需先注銷再登錄：

代碼: 

login(Player, player_online, Args) ->
  logout(Player#player.oid),
  login(Player, player_offline, Args);

如果玩家空閑時客戶端重連接，我所需要做的只是在玩家record里替換socket進程id然后告訴玩家進程新的socket：

代碼: 

login(Player, client_down, [_, _, SOcket]) ->
  gen_server:cast(Player#player.pid, {'SOCKET', Socket}),
  Player1 = Player#player {
    socket = Socket
  },
  {Player1, {ok, Player#player.pid}};

如果玩家在游戲中，這是我們運行上面的代碼，然后告訴游戲重新發(fā)送時間歷史：

代碼: 

login(Player, player_busy, Args) ->
  Temp = login(Player, client_down, Args),
  cardgame:cast(Player#player.game,
    {'RESEND UPDATES', Player#player.pid}),
  Temp;

總體來說，一個實時備份數(shù)據(jù)庫，一個知道重新建立連接到不同的游戲服務器的客戶端和一些有技巧的登錄代碼運行我提供一個高級容錯系統(tǒng)并且對玩家透明。

負載均衡
我可以構(gòu)建自己的OpenPoker集群，游戲服務器數(shù)量大小隨心所欲。
我希望每臺游戲服務器分配5000個玩家，然后在集群的活動游戲服務器間分散負載。
我可以在任何時間添加一個新的游戲服務器，并且它們將自動賦予自己接受新玩家的能力。

網(wǎng)關(guān)節(jié)點分散玩家負載到OpenPoker集群里活動的游戲服務器。
網(wǎng)關(guān)節(jié)點的工作是選擇一個隨機的游戲服務器，詢問它所連接的玩家數(shù)量和它的地址、主機和端口號。
一旦網(wǎng)關(guān)找到一個游戲服務器并且連接的玩家數(shù)量少于最大值，它將返回該游戲服務器的地址到連接的客戶端，然后關(guān)閉連接。

網(wǎng)關(guān)上絕對沒有壓力，網(wǎng)關(guān)的連接都非常短。你可以使用非常廉價的機器來做網(wǎng)關(guān)節(jié)點。

節(jié)點一般都成雙成對出現(xiàn)，這樣一個節(jié)點崩潰后還有另一個繼續(xù)工作。你可能需要一個類似于Round-robin DNS的機制來保證不只一個單獨的網(wǎng)關(guān)節(jié)點。

代碼: 

網(wǎng)關(guān)怎么知曉游戲服務器？

OpenPoker使用Erlang Distirbuted Named Process Groups工具來為游戲服務器分組。
該組自動對所有的節(jié)點全局可見。
新的游戲服務器進入游戲服務器后，當一個游戲服務器節(jié)點崩潰時它被自動刪除。

這是尋找容量最大為MaxPlayers的游戲服務器的代碼：

代碼: 

find_server(MaxPlayers) ->
  case pg2:get_closest_pid(?GAME_SERVER) of
  Pid when is_pid(Pid) ->
    {Time, {Host, Port}} = timer:tc(gen_server, call, [Pid, 'WHERE']),
    Coutn = gen_server:call(Pid, 'USER COUNT'),
    if
      Count < MaxPlayers ->
        io:format("~s:~w ~w players~n", [Host, Port, Count]),
        {Host, Port};
      true ->
        io:format("~s:~w is full...~n", [Host, Port]),
        find_server(MaxPlayers)
    end;
  Any ->
    Any
  end.

pg2:get_closest_pid()返回一個隨機的游戲服務器進程id，因為網(wǎng)關(guān)節(jié)點上不允許跑任何游戲服務器。
如果一個游戲服務器進程id返回，我詢問游戲服務器的地址（host和port）和連接的玩家數(shù)量。
只要連接的玩家數(shù)量少于最大值，我返回游戲服務器地址給調(diào)用者，否則繼續(xù)查找。

代碼:

多功能熱插拔中間件

OpenPoker是一個開源軟件，我最近也正在將其投向許多棋牌類運營商。所有商家都存在容錯性和可伸縮性的問題，即使有些已經(jīng)經(jīng)過了長年的開發(fā)維護。有些已經(jīng)重寫了代碼，而有些才剛剛起步。所有商家都在Java體系上大筆投入，所以他們不愿意換到Erlang也是可以理解的。

但是，對我來說這是一種商機。我越是深入研究，越發(fā)現(xiàn)Erlang更適合提供一個簡單直接卻又高效可靠的解決方案。我把這個解決方案看成一個多功能插座，就像你現(xiàn)在電源插頭上連著的一樣。

你的游戲服務器可以像簡單的單一套接字服務器一樣的寫，只用一個數(shù)據(jù)庫后臺。實際上，可能比你現(xiàn)在的游戲服務器寫得還要簡單。你的游戲服務器就好比一個電源插頭，多種電源插頭接在我的插線板上，而玩家就從另一端流入。

你提供游戲服務，而我提供可伸縮性，負載平衡，還有容錯性。我保持玩家連到插線板上并監(jiān)視你的游戲服務器們，在需要的時候重啟任何一個。我還可以在某個服務器當?shù)舻那闆r下把玩家從一個服務器切換到另一個，而你可以隨時插入新的服務器。

這么一個多功能插線板中間件就像一個黑匣子設(shè)置在玩家與服務器之間，而且你的游戲代碼不需要做出任何修改。你可以享用這個方案帶來的高伸縮性，負載平衡，可容錯性等好處，與此同時節(jié)約投資并寫僅僅修改一小部分體系結(jié)構(gòu)。

你可以今天就開始寫這個Erlang的中間件，在一個特別為TCP連接數(shù)做了優(yōu)化的Linux機器上運行，把這臺機器放到公眾網(wǎng)上的同時保持你的游戲服務器群組在防火墻背后。就算你不打算用，我也建議你抽空看看Erlang考慮一下如何簡化你的多人在線服務器架構(gòu)。而且我隨時愿意幫忙！

原文地址：[Erlang 0015]Erlang OTP設(shè)計原則