欧美国产精品专区,亚洲全部视频,伊人久久亚洲热

C++源文件編碼問題

小明 — Thu, 05 Apr 2007 07:30:00 GMT

摘要: C++源文件編碼問題閱讀全文

小明 2007-04-05 15:30 發(fā)表評(píng)論

[Tips]如何計(jì)算utf8下的字節(jié)數(shù)

小明 — Wed, 08 Nov 2006 05:32:00 GMT

項(xiàng)目需要，寫了一個(gè)幫助L10N的工程師計(jì)算utf8的小工具(html page)。如下

DOCTYPE?HTML?PUBLIC?"-//W3C//DTD?HTML?4.0?Transitional//EN">
<HTML>
<HEAD>
<TITLE>?An?utf8?count?tool??TITLE>
<meta?http-equiv="Content-Type"?content="text/html;?charset=utf16">
<script>
????function?utf16to8(str)?{
????????var?out,?i,?len,?c;

????????out?=?"";
????????len?=?str.length;
????????for(i?=?0;?i?<?len;?i++)?{
????????c?=?str.charCodeAt(i);
????????if?((c?>=?0x0001)?&&?(c?<=?0x007F))?{
????????????out?+=?str.charAt(i);
????????}?else?if?(c?>?0x07FF)?{
????????????out?+=?String.fromCharCode(0xE0?|?((c?>>?12)?&?0x0F));
????????????out?+=?String.fromCharCode(0x80?|?((c?>>??6)?&?0x3F));
????????????out?+=?String.fromCharCode(0x80?|?((c?>>??0)?&?0x3F));
????????}?else?{
????????????out?+=?String.fromCharCode(0xC0?|?((c?>>??6)?&?0x1F));
????????????out?+=?String.fromCharCode(0x80?|?((c?>>??0)?&?0x3F));
????????}
????????}
????????return?out;
????}
????function?count()
????{
????????var?temp?=?f1.value;
????????temp=temp.replace(/\\r/g,"\r");
????????temp=temp.replace(/\\n/g,"\n");
????????result.innerHTML=utf16to8(temp).length;
????}
script>
HEAD>

<BODY>
<TEXTAREA?id="f1"?NAME="f1"?ROWS="10"?COLS="50">TEXTAREA>
<br/>
<INPUT?TYPE="button"?value="count?length"?onclick="count()">
<div?id="result">div>
BODY>
HTML>

小明 2006-11-08 13:32 發(fā)表評(píng)論

G11N Developement (2) --- Linux Best Practice

小明 — Mon, 26 Jun 2006 08:57:00 GMT

在linux/Unix平臺(tái)上面做G11N的開發(fā)，大抵都會(huì)用到gettext庫/工具集( ftp://ftp.gnu.org/gnu/gettext/ ) 和libiconv(http://www.gnu.org/software/libiconv/) ,前者是用于實(shí)現(xiàn)Resource bundle,而后者用于各種編碼轉(zhuǎn)化。

(注:這里沒有考慮cross-platform)

1. 實(shí)現(xiàn)方法

a . 使用po文件作為資源文件 (建議編碼是utf-8)
一方面因?yàn)閁TF-8兼容ANSI,另外一方面考慮到G11N的程序大部分使用utf-8輸出，比如輸出到database,web UI, file等等。

b. 使用getext從resource file ( mo文件)讀到相應(yīng)的L10N resource文件
注意這里需要先setlocale來設(shè)置locale

#include <stdio.h>
#include <locale.h>
#include <libintl.h>

#define _(string) gettext (string)

int main(int argc, char **argv)
{
    if (setlocale(LC_ALL, “”) == NULL) {
        fprintf(stderr, “setlocale() error.\n”);
        return -1;
}
if (bindtextdomain(package, “/usr/share/locale”) == NULL) {
    fprintf(stderr, “bindtextdomain() error.\n”);
    return –1;
}
    if (textdomain(package) == NULL) {
        fprintf(stderr, “textdomain() error.\n”);
        return –1;
}
    printf(“%s\n”, _(“Hello, world!”));
    return 0;
}

c.如果要輸出到控制臺(tái)(console),因?yàn)椴皇莄onsole都支持unicode output，所以推薦的方法是首先是把utf-8轉(zhuǎn)化為本地編碼，然后使用printf輸出。不推薦使用wprintf進(jìn)行輸出，一方面是因?yàn)閣char_t的大小隨編譯器不同，不好控制。另外一方面，很多wprintf的實(shí)現(xiàn)也都是先把wchar_t[]轉(zhuǎn)為本地編碼，然后輸出。轉(zhuǎn)化編碼使用libconv

d.如果要輸出到web pages,database,file，編碼推薦使用utf-8.

e.如果要輸出本地化的日期和時(shí)間，使用API: strftime

#include <stdio.h>
#include <time.h>
int main(int argc, char **argv)
{
    time_t t;
    struct tm *ptm;
    char buffer[100];

    memset(buffer, 0, sizeof(buffer));
    if (time(&t) < 0) {
        fprintf(stderr, “time() error: %m\n”);
    }
    if ((ptm = localtime(&t)) == NULL) {
        fprintf(stderr, “localtime() error: %m\n”);
    }
    strftime(buffer, sizeof(buffer), “%x %X”, ptm);
    printf(“%s\n”, buffer);
    return 0;
}

f. 如果要輸出本地化的數(shù)字和貨幣，使用API: strfmon

#include <stdio.h>
#include <monetary.h>

int main(int argc, char **argv)
{
    char buffer[100];
    strfmon(buffer, sizeof(buffer), “%=*i", 12345.67);
    printf(“%s\n”, buffer);
    return 0;
}

2.目錄結(jié)構(gòu)
/product
  /i18n
      /zh_TW
          your.mo
      /ja_JP
          your.mo

小明 2006-06-26 16:57 發(fā)表評(píng)論

深入 printf / wprintf / console下的unicode output

小明 — Wed, 21 Jun 2006 03:53:00 GMT

1. printf 只能提供ANSI/MB 的輸出，不支持輸出unicode stream.
例如:

wchar_t?test[]=L"測(cè)試1234";
printf("%s",test);

是不會(huì)正確輸出的

2.wprintf 同樣不會(huì)提供unicode output,
?? 但是他會(huì)把wchar_t的string轉(zhuǎn)為locale的SB/MB字符編碼，然后輸出
例如：

wchar_t?test[]?=?L"測(cè)試Test";
wprintf(L"%s",test);

會(huì)輸出??1234之類的字符串，或者不輸出任何結(jié)果
因?yàn)閣printf沒有辦法把L"測(cè)試Test"轉(zhuǎn)為默認(rèn)的ANSI,需要設(shè)置locale

setlocale(LC_ALL,"chs");
wchar_t?test[]?=?L"測(cè)試Test";
wprintf(L"%s",test);

會(huì)有正確的輸出
等同于printf("%ls",test);

綜上:? CRT I/O functions do not provide Unicode output.

3. Window console自從NT4就是一個(gè)真正的unicode console
不過輸出unicode string,只有使用Windows API, WriteConsoleW
例如：

wchar_t?test[]?=?L"測(cè)試1234";
DWORD?ws;
WriteConsoleW(GetStdHandle(STD_OUTPUT_HANDLE),test,wcslen(test),&ws,NULL);

可以正確的輸出而不需要設(shè)置locale,因?yàn)槭钦嬲膗nicode的輸出，跟codepage無關(guān)

4. 如何實(shí)現(xiàn)跨平臺(tái)的console output
??? 不要使用wchar_t和wprintf,因?yàn)檫@些都依賴于編譯器.
???? ICU是IBM的一個(gè)成熟的跨平臺(tái)支持unicode的libary,推薦使用

以下是ICU的uprintf實(shí)現(xiàn)

void?uprintf(const?UnicodeString?&str)?{
????char?*buf?=?0;
????int32_t?len?=?str.length();
????int32_t?bufLen?=?len?+?16;
????int32_t?actualLen;
????buf?=?new?char[bufLen?+?1];
????actualLen?=?str.extract(0,?len,?buf/*,?bufLen*/);?//?Default?codepage?conversion
????buf[actualLen]?=?0;
????printf("%s",?buf);
????delete?buf;
}

它也是先把Unicode string轉(zhuǎn)化為本地的codepage,然后printf，雖然也不是unicode output,但是跨平臺(tái)，大多數(shù)情況會(huì)工作得很好。

小明 2006-06-21 11:53 發(fā)表評(píng)論

G11N Development(1) --- Unicode Basic && wxxx function

小明 — Mon, 19 Jun 2006 11:45:00 GMT

摘要: Globalization development 閱讀全文

小明 2006-06-19 19:45 發(fā)表評(píng)論