轉載自:http://www.cnblogs.com/lizhenghn/p/3854244.html
前段時間剛試用了一個序列化工具cereal,請看cereal:C++實現的開源序列化庫,打算再總結下我對google proto buf序列化庫的使用呢,
結果還沒動手,大Google又出了一個新的、開源、跨平臺的序列化工具:FlatBuffers。那就索性先了解了解這個工具把。
一. 什么是Google FlatBuffers
FlatBuffers是一個開源的、跨平臺的、高效的、提供了C++/Java接口的序列化工具庫。它是Google專門為游戲開發或其他性能敏感的應用程序需求而創建。尤其更適用于移動平臺,這些平臺上內存大小及帶寬相比桌面系統都是受限的,而應用程序比如游戲又有更高的性能要求。它將序列化數據存儲在緩存中,這些數據既可以存儲在文件中,又可以通過網絡原樣傳輸,而不需要任何解析開銷。
代碼托管主頁:https://github.com/google/flatbuffers;
項目介紹主頁:http://google.github.io/flatbuffers/index.html;
二. 為什么要使用Google FlatBuffers
- 對序列化數據的訪問不需要打包和拆包——它將序列化數據存儲在緩存中,這些數據既可以存儲在文件中,又可以通過網絡原樣傳輸,而沒有任何解析開銷;
- 內存效率和速度——訪問數據時的唯一內存需求就是緩沖區,不需要額外的內存分配。 這里可查看詳細的基準測試;
- 擴展性、靈活性——它支持的可選字段意味著不僅能獲得很好的前向/后向兼容性(對于長生命周期的游戲來說尤其重要,因為不需要每個新版本都更新所有數據);
- 最小代碼依賴——僅僅需要自動生成的少量代碼和一個單一的頭文件依賴,很容易集成到現有系統中。再次,看基準部分細節;
- 強類型設計——盡可能使錯誤出現在編譯期,而不是等到運行期才手動檢查和修正;
- 使用簡單——生成的C++代碼提供了簡單的訪問和構造接口;而且如果需要,通過一個可選功能可以用來在運行時高效解析Schema和類JSON格式的文本;
- 跨平臺——支持C++11、Java,而不需要任何依賴庫;在最新的gcc、clang、vs2010等編譯器上工作良好;
三. 為什么不使用Protocol Buffers的,或者JSON
Protocol Buffers的確和FlatBuffers比較類似,但其主要區別在于FlatBuffers在訪問數據前不需要解析/拆包這一步。 而且Protocol Buffers既沒有可選的文本導入/導出功能,也沒有Schemas語法特性(比如union)。
JSON是非常可讀的,而且當和動態類型語言(如JavaScript)一起使用時非常方便。然而在靜態類型語言中序列化數據時,JSON不但具有運行效率低的明顯缺點,而且會讓你寫更多的代碼來訪問數據(這個與直覺相反)。
想了解更多關于FlatBuffers的“為什么”請訪問flatbuffers白皮書。
四. 內建的數據類型
- 8 bit:
byte ubyte bool
- 16 bit:
short ushort
- 32 bit:
int uint float
- 64 bit:
long ulong double
- Vector of any other type (denoted with
[type]
). Nesting vectors is not supported, instead you can wrap the inner vector in a table.
- string, which may only hold UTF-8 or 7-bit ASCII. For other text encodings or general binary data use vectors (
[byte]
or [ubyte]
) instead.
- References to other tables or structs, enums or unions.
詳細介紹請參考:schema語法格式。
五. 如何使用
- 編寫一個用來定義你想序列化的數據的schema文件(又稱IDL),數據類型可以是各種大小的int、float,或者是string、array,或者另一對象的引用,甚至是對象集合;
- 各個數據屬性都是可選的,且可以設置默認值。
- 使用FlatBuffer編譯器flatc生成C++頭文件或者Java類,生成的代碼里額外提供了訪問、構造序列化數據的輔助類。生成的代碼僅僅依賴flatbuffers.h;請看如何生成;
- 使用FlatBufferBuilder類構造一個二進制buffer。你可以向這個buffer里循環添加各種對象,而且很簡單,就是一個單一函數調用;
- 保存或者發送該buffer
- 當再次讀取該buffer時,你可以得到這個buffer根對象的指針,然后就可以簡單的就地讀取數據內容;
六. 一個簡單的Schemas(IDL)文件
namespace zl.persons;
enum GENDER_TYPE : byte
{
MALE = 0,
FEMALE = 1,
OTHER = 2
}
table personal_info
{
id : uint;
name : string;
age : byte;
gender : GENDER_TYPE;
phone_num : ulong;
}
table personal_info_list
{
info : [personal_info];
}
root_type personal_info_list;
注意:這里有table、struct的區別:
table是Flatbuffers中用來定義對象的主要方式,和struct最大的區別在于:它的每個字段都是可選的(類似protobuf中的optional字段),而struct的所有成員都是required。
table除了成員名稱和類型之外,還可以給成員一個默認值,如果不顯式指定,則默認為0(或空)。struct不能定義scalar成員,比如說string類型的成員。在生成C++代碼時,struct的成員順序會保持和IDL的定義順序一致,如果有必要對齊,生成器會自動生成用于對齊的額外成員。如以下Schemas代碼:
struct STest
{
a : int;
b : int;
c : byte;
}
在生成為C++代碼之后,會補充兩個用于padding的成員__padding0與__padding1:
MANUALLY_ALIGNED_STRUCT(4) STest {
private:
int32_t a_;
int32_t b_;
int8_t c_;
int8_t __padding0;
int16_t __padding1;
public:
STest(int32_t a, int32_t b, int8_t c)
: a_(flatbuffers::EndianScalar(a)), b_(flatbuffers::EndianScalar(b)), c_(flatbuffers::EndianScalar(c)), __padding0(0) {}
int32_t a() const { return flatbuffers::EndianScalar(a_); }
int32_t b() const { return flatbuffers::EndianScalar(b_); }
int8_t c() const { return flatbuffers::EndianScalar(c_); }
};
STRUCT_END(STest, 12);
table的成員順序是動態調整的,這和struct有區別。在生成C++代碼時,生成器會自動調整為最佳順序以保證它占用最小的內存空間。
七. 一個完整Demo
這里只給一個函數演示如何對對象進行序列化,完整工程請直接點擊下載,或者前往github查看google_flatbuffers_test。
std::string CreateOnePerson()
{
flatbuffers::FlatBufferBuilder builder;
fb_offset<fb_string> name = builder.CreateString("hello word");
zl::persons::personal_infoBuilder pib(builder);
pib.add_id(1);
pib.add_age(25);
pib.add_gender(zl::persons::GENDER_TYPE_MALE);
pib.add_name(name);
pib.add_phone_num(1234567890);
flatbuffers::Offset<zl::persons::personal_info> personinfo = pib.Finish();
fb_offset<zl::persons::personal_info> info[1];
info[0] = personinfo;
fb_offset<fb_vector<fb_offset<zl::persons::personal_info>>> info_array = fb_create_vector(builder, info, sizeof(info) / sizeof(info[0]));
fb_offset<zl::persons::personal_info_list> info_list = create_personal_info_list(builder, info_array);
fb_finish(builder, info_list);
// return the buffer for the caller to use.
return std::string(reinterpret_cast<const char *>(builder.GetBufferPointer()), builder.GetSize());
}
八. 其他
關于性能,除了Google公布的基準測試外,有人自己測試驗證過,上面的IDL文件即來源于該作者的這篇文章。
九. 參考
http://google.github.io/flatbuffers/index.html
http://powman.org/archives/md__schemas.html
http://blog.csdn.net/menggucaoyuan/article/details/34409433
http://liubin.org/2014/06/19/google-flatbuffers-cross-platform-serialization-library/