• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            不會飛的鳥

            2010年12月10日 ... 不鳥他們!!! 我要用自己開發的分布式文件系統、分布式調度系統、分布式檢索系統, 做自己的搜索引擎!!!大魚有大志!!! ---楊書童

            #

            PowerDesigner(PD) Name/Code自動調整

            大家都清楚在用PowerDesigner的時候,當你輸入Name的時候Code是會自動幫你按照Name的內容填上的.
            這個功能雖然好用,但是我需要在Name這一項加上一個中文的注釋,這個時候怎么辦呢?
            下面兩個例子,相信對你相當有用.
            Examples

            · Script 1:
            .set_value(_First, true, new)
            .foreach_part(%Name%, "'#'")
            .if (%_First%)
            .delete(%CurrentPart%)
            .set_value(_First, false, update)
            .else
            %CurrentPart%
            .endif
            .next

            這個例子是把Name內容的#號后邊的內容當作Code.
            如:在Name列輸入    用戶名#user_name  則在Code列自動會變成   user_name

            · Script 2:
            .set_value(_First, true, new)
            .foreach_part(%Name%, "'#'")
            .if (%_First%)
            %CurrentPart%
            .set_value(_First, false, update)
            .endif
            .next

            這個例子是把Name內容的#號前邊的內容當作Code.
            如:在Name列輸入    user_name#用戶名  則在Code列自動會變成   user_name

            具體操作方法是:
            1、打開powerDesigner菜單的Tools->Model Options....->Naming Convention
            2、選中Name,并勾選Enable name/code conversions.
            3、選擇Name To Code,把上面任意一個例子的代碼(紅色部分)貼到conversion script內容框中即可。

            注:用這個script的時候,必須先設置,才會轉換的。
            如果你已經設計好了,再設置是不會對之前的東西改變的。

            posted @ 2012-04-09 10:26 不會飛的鳥 閱讀(748) | 評論 (0)編輯 收藏

            如何進行數據庫,比如ORACLE,SQL SERVER的逆向工程,將數據庫導入到PowerDesigner中

            Oracle的反向工程就是指將Oracle中的數據庫,當然也可以是SQL Server中的數據庫導入到PD中,這個需要建立一個數據庫的鏈接,然后進行逆向工程的操作。

            第一步:建立數據庫的鏈接:

            PowerDesigner建立與數據庫的連接,以便生成數據庫和從數據庫生成到PD中。[Oracle 10G版]

            PowerDesigner建立與數據庫的連接,以便生成數據庫和從數據庫生成到PD中。[SQL SERVER 2005版]

            第二步:建立完數據庫的連接后,在【File】--【Reverse Engineer】--【Database】

            第三步:點擊確定,如圖所示:

            第四步:如圖所示:注意點,如果數據庫中的表很多時,比如一萬張表,這個操作耗費的時間很長,甚至把PD崩潰掉

            選擇你要導入的表,視圖,以及表的對象,就可以將數據庫導入到PD中,至此數據庫的逆向工程便結束了。

            posted @ 2012-04-09 10:20 不會飛的鳥 閱讀(687) | 評論 (0)編輯 收藏

            [轉]新浪微博 爬取實現之微博登錄

            最近做一個東西,需要抓取新浪微博的微話題,新浪微博api有所限制所以就沒用新浪微博api了,想直接的從網頁上獲取內容,但微博的很多網頁都需要登錄后才能瀏覽的,所以做了個新浪微博的登錄功能,基本需要的功能實現了,但并不健全。

            對于新浪微博的頁面是要用戶登錄之后才能進入的,如http://weibo.com/pub/topic,那么爬蟲也必須登錄上新浪微博才能爬取內容,在這里實現下新浪微博的登錄功能,到現在還有一些問題沒解決,但可以實現必須登錄后才能進入的頁面的文本捕獲了。

            先分析下微博登錄提交的內容,新浪微博主頁登錄向服務器提交的是使用POST的,post附帶的參數有


            entry:weibo
            gateway:1
            from:
            savestate:7
            useticket:1
            ssosimplelogin:1
            vsnf:1
            vsnval:
            su:NDY0Mjg5NTg4JTQwcXEuY29t
            service:miniblog
            servertime:1321269451
            nonce:HGE0XB 
            pwencode:wsse
            sp:a3135915db1b5d15a47a43e550d89e1499a26a9b
            encoding:UTF-8
            url:http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack
            returntype:META

              在這些參數中su是用戶的用戶名使用base64編碼的;servertime是該動作的開始時間,nonce是隨機產生的6為隨機數,pwencode:wsse應該指的是密碼格式的編碼了,sp是密碼的通過編碼后的形式。對于我現在的應用只需要這幾個參數就好了。

            接著分析下這些參數吧:

            request.su=sinaSSOEncoder.base64.encode(urlencode(username));

              用戶名通過了urlencode和base64編碼后才提交的;

            servertime在哪里忘記了,通過獲取時間/1000就可以得到servertime了;

            var makeNonce=function(len){var x="ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";var str="";for(var i=0;i<len;i++){str+=x.charAt(Math.ceil(Math.random()*1000000)%x.length)}return str};

              nonce參數是上面函數得到的;

            sp的得到就相對比較麻煩一些,是通過password,servertime,nonce 共同編碼后得到的數據;使用的編碼函數是

            var sinaSSOEncoder=sinaSSOEncoder||{};(function(){var i=0;var g=8;this.hex_sha1=function(j){return h(b(f(j),j.length*g))};var b=function(A,r){A[r>>5]|=128<<(24-r%32);A[((r+64>>9)<<4)+15]=r;var B=Array(80);var z=1732584193;var y=-271733879;var v=-1732584194;var u=271733878;var s=-1009589776;for(var o=0;o<A.length;o+=16){var q=z;var p=y;var n=v;var m=u;var k=s;for(var l=0;l<80;l++){if(l<16){B[l]=A[o+l]}else{B[l]=d(B[l-3]^B[l-8]^B[l-14]^B[l-16],1)}var C=e(e(d(z,5),a(l,y,v,u)),e(e(s,B[l]),c(l)));s=u;u=v;v=d(y,30);y=z;z=C}z=e(z,q);y=e(y,p);v=e(v,n);u=e(u,m);s=e(s,k)}return Array(z,y,v,u,s)};var a=function(k,j,m,l){if(k<20){return(j&m)|((~j)&l)}if(k<40){return j^m^l}if(k<60){return(j&m)|(j&l)|(m&l)}return j^m^l};var c=function(j){return(j<20)?1518500249:(j<40)?1859775393:(j<60)?-1894007588:-899497514};var e=function(j,m){var l=(j&65535)+(m&65535);var k=(j>>16)+(m>>16)+(l>>16);return(k<<16)|(l&65535)};var d=function(j,k){return(j<<k)|(j>>>(32-k))};var f=function(m){var l=Array();var j=(1<<g)-1;for(var k=0;k<m.length*g;k+=g){l[k>>5]|=(m.charCodeAt(k/g)&j)<<(24-k%32)}return l};var h=function(l){var k=i?"0123456789ABCDEF":"0123456789abcdef";var m="";for(var j=0;j<l.length*4;j++){m+=k.charAt((l[j>>2]>>((3-j%4)*8+4))&15)+k.charAt((l[j>>2]>>((3-j%4)*8))&15)}return m};this.base64={encode:function(l){l=""+l;if(l==""){return""}var j="";var s,q,o="";var r,p,n,m="";var k=0;do{s=l.charCodeAt(k++);q=l.charCodeAt(k++);o=l.charCodeAt(k++);r=s>>2;p=((s&3)<<4)|(q>>4);n=((q&15)<<2)|(o>>6);m=o&63;if(isNaN(q)){n=m=64}else{if(isNaN(o)){m=64}}j=j+this._keys.charAt(r)+this._keys.charAt(p)+this._keys.charAt(n)+this._keys.charAt(m);s=q=o="";r=p=n=m=""}while(k<l.length);return j},_keys:"ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="}}).call(sinaSSOEncoder);

              得到得到sp的函數為

            password=sinaSSOEncoder.hex_sha1(""+sinaSSOEncoder.hex_sha1(sinaSSOEncoder.hex_sha1(password))+me.servertime+me.nonce)}request.sp=password;return request};

              必要的參數已經分析到了,只要封裝http包先服務器發送即可。我使用的是java實現,把上面一些javascript函數改寫成java函數

            //用戶名編碼
            private String encodeAccount(String account){
                    return Base64.encodeBase64String(URLEncoder.encode(account).getBytes());
                }
            //六位隨機數nonce的產生
            private String makeNonce(int len){
                    String x="ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";
                    String str = "";
                    for(int i=0;i<len;i++){
                        str+=x.charAt((int) (Math.ceil(Math.random()*1000000)%x.length()));
                    }
                    return str;
                }
            //servertime的產生
            private String getServerTime(){
                    long servertime = new Date().getTime()/1000;
                    return String.valueOf( servertime);
                }
            //密碼的編碼
            this.sp = new SinaSSOEncoder().encode(this.pwd, this.servertime, this.nonce);

              SinaSSOEncoder編碼類的實現

            package com.sinaweibo;
             
            //新浪微博密碼加密的算法
            public class SinaSSOEncoder {
                private boolean i=false;
                private int g=8;
                 
                public SinaSSOEncoder(){
                     
                }
                public String encode(String psw,String servertime,String nonce){
                    String password;
                    password=hex_sha1(""+hex_sha1(hex_sha1(psw))+servertime+nonce);
                    return password;
                }
                 
                private String hex_sha1(String j) {
                    return h(b(f(j,j.length()*g), j.length() * g));
                }
                private String h(int[] l){
                    String k = i ? "0123456789ABCDEF" : "0123456789abcdef";
                    String m = "";
                    for (int j = 0; j < l.length * 4; j++) {
                        m += k.charAt((l[j >> 2] >> ((3 - j % 4) * 8 + 4)) & 15) + "" + k.charAt((l[j >> 2] >> ((3 - j % 4) * 8)) & 15);
                    }
                    return m;
                }
                 
                private int[] b(int[] A,int r){
                    A[r>>5]|=128<<(24-r%32);
                    A[((r+64>>9)<<4)+15]=r;
                    int[] B = new int[80];
                    int z = 1732584193;
                    int y = -271733879;
                    int v = -1732584194;
                    int u = 271733878;
                    int s = -1009589776;
                    for (int o = 0; o < A.length; o += 16) {
                        int q = z;
                        int p = y;
                        int n = v;
                        int m = u;
                        int k = s;
                        for (int l = 0; l < 80; l++) {
                            if (l < 16) {
                                B[l] = A[o + l];
                            } else {
                                B[l] = d(B[l - 3] ^ B[l - 8] ^ B[l - 14] ^ B[l - 16], 1);
                            }
                            int C = e(e(d(z, 5), a(l, y, v, u)), e(e(s, B[l]), c(l)));
                            s = u;
                            u = v;
                            v = d(y, 30);
                            y = z;
                            z = C;
                        }
                        z = e(z, q);
                        y = e(y, p);
                        v = e(v, n);
                        u = e(u, m);
                        s = e(s, k);
                    }
                    return new int[]{z,y,v,u,s};
                }
                 
                private int a(int k,int j,int m,int l){
                    if(k<20){return(j&m)|((~j)&l);};
                    if(k<40){return j^m^l;};
                    if(k<60){return(j&m)|(j&l)|(m&l);};
                    return j^m^l;
                }
                 private int c(int j){
                    return(j<20)?1518500249:(j<40)?1859775393:(j<60)?-1894007588:-899497514;
                }
                private int e(int j, int m) {
                    int l = (j & 65535) + (m & 65535);
                    int k = (j >> 16) + (m >> 16) + (l >> 16);
                    return (k << 16) | (l & 65535);
                }
                private int d(int j,int k){
                    return(j<<k)|(j>>>(32-k));
                }
                 
                private int[] f(String m,int r){
                    int[] l;
                    int j = (1<<this.g)-1;
                    int len=((r+64>>9)<<4)+15;
                    int k;
                    for(k=0;k<m.length()*g;k+=g){
                        len = k>>5>len?k>>5:len;
                    }
                    l = new int[len+1];
                    for(k=0;k<l.length;k++){
                        l[k]=0;
                    }
                    for(k=0;k<m.length()*g;k+=g){
                        l[k>>5]|=(m.charAt(k/g)&j)<<(24-k%32);
                    }
                    return l;
                }
            }

              得到這幾個參數后連通其他的一些參數,其他的參數內容不需要改變,一起封裝成HTTP包先服務器發送即可,到這一步,已經完成得差不多了,提交 到服務器后服務器返回了一些Cookie,有六個tgc,SUE,SUP,ALC,ALF,SUR。登錄新浪微博提交的Cookie有很多,但在訪問需要 用戶登錄的頁面只需要這里面的2個參數即可, SUE,SUP;還有一個wvr的參數,其值為4,其他的參數還沒去理解,為了方便我把所有服務器返回的Cookie全都封裝在HTTP包里了。

            要訪問其他的之前需要登錄的頁面時,這需要在提交的http包的Header加上Cookie項,值為獲得的這幾個參數加上wvr=4就好了。這就會發現原來不能直接訪問的頁面,現在可以訪問了。

            分析數據是個挺花時間的過程,但最終能實現還是很爽的。。。

            一些其他的參數還沒去理解他們的意義,爬取微話題的主頁是沒問題的,但使用一些新浪微博api時就出現了一些問題。

            posted @ 2012-03-30 09:27 不會飛的鳥 閱讀(963) | 評論 (1)編輯 收藏

            Linux下動態加載動態庫,更新動態庫而不用更新程序

            linux下動態加載動態庫,主要用到dlopen(),dlsym(),dlclose(),dlerror()四個函數,他們所使用的頭文件#include <dlfcn.h>
            在這里主要介紹一下dlopen()函數

            dlopen()  功能:打開一個動態鏈接庫

              包含頭文件:

              #include <dlfcn.h>

              函數定義

              void * dlopen( const char * pathname, int mode );

              函數描述:

              在dlopen的()函數以指定模式打開指定的動態連接庫文件,并返回一個句柄給調用進程。使用dlclose()來卸載打開的庫。

              mode:分為這兩種

              RTLD_LAZY 暫緩決定,等有需要時再解出符號

              RTLD_NOW 立即決定,返回前解除所有未決定的符號。

              RTLD_LOCAL

              RTLD_GLOBAL 允許導出符號

              RTLD_GROUP

              RTLD_WORLD

              返回值:

              打開錯誤返回NULL

              成功,返回庫引用

              編譯時候要加入 -ldl (指定dl庫)

              例如

              gcc test.c -o test -ldl


            下面舉個例子,同時考慮到幾個細節。


            /***********************main.c的內容**************************/
            #include<stdio.h>
            #include<dlfcn.h>
            int main()
            {
                int a,b;
                void *pHandle;
               
            typedef int (*func)(int,int);   //注意函數的定義,這里要根據下面的max函數格式定義。
                scanf("%d%d",&a,&b);
                pHandle=dlopen("./dl2.so",RTLD_NOW);
                if (!pHandle)
                {
                        cerr << "Cannot open library: " << dlerror() << ' ';
                        return 1;
                }
               
                func=(func)dlsym(pHandle,"max");
                const char *dlsym_error = dlerror();
                if (dlsym_error) {
                        cerr << "Cannot load symbol 'baidu': " << dlsym_error <<' ';
                        dlclose(pHandle);
                        return 1;
                }

                printf("%d與%d相比,%d為大數。\n",a,b,(*func)(a,b));
                dlclose(pHandle);
            }
            /***********************main.c的內容**************************/

            /***********************testmax.c的內容**************************/
            #include<stdio.h>
            int max(int x,int y)
            {
                return x>y?x:y;
            }
            /***********************testmax.c的內容**************************/

            編譯:
            gcc testmax.c -shared -fPIC -o testmax.so
            gcc -o main -ldl main.c

            運行:
            admin@admin-desktop:/abc/test$ ./main
            2008 2012
            2008與2012相比,2012為大數。


            很淺層的東西,這樣下次你直接修改你的testmax.c文件,編譯成動態庫拷貝到main目錄,不用編譯,直接可以加載你最新修改的testmax中的函數,前提是函數名、格式要相同

            posted @ 2012-03-26 15:53 不會飛的鳥 閱讀(2904) | 評論 (1)編輯 收藏

            ora-00054:resource busy and acquire with nowait specified解決方法

            當某個數據庫用戶在數據庫中插入、更新、刪除一個表的數據,或者增加一個表的主鍵時或者表的索引時,常常會出現ora-00054:resource busy and acquire with nowait specified這樣的錯誤。

            主要是因為有事務正在執行(或者事務已經被鎖),所有導致執行不成功。

            1、用dba權限的用戶查看數據庫都有哪些鎖

            select t2.username,t2.sid,t2.serial#,t2.logon_time
            from v$locked_object t1,v$session t2
            where t1.session_id=t2.sid order by t2.logon_time;

            如:testuser 339 13545 2009-3-5 17:40:05
            知道被鎖的用戶testuser,sid為339,serial#為13545

            2、根據sid查看具體的sql語句,如果sql不重要,可以kill

            select sql_text from v$session a,v$sqltext_with_newlines b
              where DECODE(a.sql_hash_value, 0, prev_hash_value, sql_hash_value)=b.hash_value
              and a.sid=&sid order by piece;

            查出來的sql,如: begin :id := sys.dbms_transaction.local_transaction_id; end;

            3、kill該事務
            alter system kill session '339,13545';

            4、這樣就可以執行其他的事務sql語句了

            如增加表的主鍵:
            alter table test
              add constraint PK_test primary key (test_NO);

            posted @ 2011-10-29 13:19 不會飛的鳥 閱讀(367) | 評論 (1)編輯 收藏

            [轉]純真IP數據庫格式詳解

            摘要 

            網絡上的IP數據庫以純真版的最為流行,LumaQQ也采用了純真版IP數據庫做為IP查詢功能的基礎。不過關于其格式的文檔卻非常之少,后來終于在網上 找到了一份文檔,得以了解其內幕,不過那份文檔寥寥數語,也是頗為耐心才讀明白。在這里我重寫一份,以此做為LumaQQ開發者文檔的一部分,我想還是必 要的。本文詳細介紹了純真IP數據庫的格式,并且給出了一些Demo以供參考。 
            Luma, 清華大學
            修改日期: 2005/01/14

            Note: 在此感謝純真IP數據庫作者金狐和那唯一一份文檔的作者。

            修改歷史:
            2005-01-14 修改了原來一些表達不清和錯誤的地方 


            --------------------------------------------------------------------------------

            自從有了IP數據庫這種東西,QQ外掛的顯示IP功能也隨之而生,本人見識頗窄,是否還有其他應用不得而知,不過,IP數據庫確實是個不錯的東西。如今網 絡上最流行的IP數據庫我想應該是純真版的(說錯了也不要扁我),迄今為止其IP記錄條數已經接近30000,對于有些IP甚至能精確到樓層,不亦快哉。 2004年4、5月間,正逢LumaQQ破土動工,為了加上這個人人都喜歡,但是好像人人都不知道為什么喜歡的顯IP功能,我也采用了純真版IP數據庫, 它的優點是記錄多,查詢速度快,它只用一個文件QQWry.dat就包含了所有記錄,方便嵌入到其他程序中,也方便升級。

            基本結構
            QQWry.dat文件在結構上分為3塊:文件頭,記錄區,索引區。一般我們要查找IP時,先在索引區查找記錄偏移,然后再到記錄區讀出信息。由于記錄區 的記錄是不定長的,所以直接在記錄區中搜索是不可能的。由于記錄數比較多,如果我們遍歷索引區也會是有點慢的,一般來說,我們可以用二分查找法搜索索引 區,其速度比遍歷索引區快若干數量級。圖1是QQWry.dat的文件結構圖。


            [img]http://lumaqq.linuxsir.org/article/images/1/qqwry_dat_overview.gif[img]
            圖1. QQWry.dat文件結構
            要注意的是,QQWry.dat里面全部采用了little-endian字節序

            一. 了解文件頭
            QQWry.dat的文件頭只有8個字節,其結構非常簡單,首四個字節是第一條索引的絕對偏移,后四個字節是最后一條索引的絕對偏移。

            二. 了解記錄區
            每條IP記錄都由國家和地區名組成,國家地區在這里并不是太確切,因為可能會查出來“清華大學計算機系”之類的,這里清華大學就成了國家名了,所以這個國 家地區名和IP數據庫制作的時候有關系。所以記錄的格式有點像QName,有一個全局部分和局部部分組成,我們這里還是沿用國家名和地區名的說法。

            于是我們想象著一條記錄的格式應該是: [IP地址][國家名][地區名],當然,這個沒有什么問題,但是這只是最簡單的情況。很顯然,國家名和地區名可能會有很多的重復,如果每條記錄都保存一 個完整的名稱拷貝是非常不理想的,所以我們就需要重定向以節省空間。所以為了得到一個國家名或者地區名,我們就有了兩個可能:第一就是直接的字符串表示的 國家名,第二就是一個4字節的結構,第一個字節表明了重定向的模式,后面3個字節是國家名或者地區名的實際偏移位置。對于國家名來說,情況還可能更復雜 些,因為這樣的重定向最多可能有兩次。

            那么什么是重定向模式?根據上面所說,一條記錄的格式是[IP地址][國家記錄][地區記錄],如果國家記錄是重定向的話,那么地區記錄是有可能沒有的,于是就有了兩種情況,我管他叫做模式1和模式2。我們對這些格式的情況舉圖說明:



            圖2. IP記錄的最簡單形式
            圖2表示了最簡單的IP記錄格式,我想沒有什么可以解釋的



            圖3. 重定向模式1
            圖3演示了重定向模式1的情況。我們看到在模式1的情況下,地區記錄也跟著國家記錄走了,在IP地址之后只剩下了國家記錄的4字節,后面3個字節構成了一個指針,指向了實際的國家名,然后又跟著地址名。模式1的標識字節是0x01。



            圖4. 重定向模式2
            圖4演示了重定向模式2的情況。我們看到了在模式2的情況下(其標識字節是0x02),地區記錄沒有跟著國家記錄走,因此在國家記錄之后4個字節之后還是 有地區記錄。我想你已經明白了模式1和模式2的區別,即:模式1的國家記錄后面不會再有地區記錄,模式2的國家記錄后會有地區記錄。下面我們來看一下更復 雜的情況。



            圖5. 混和情況1
            圖5演示了當國家記錄為模式1的時候可能出現的更復雜情況,在這種情況下,重定向指向的位置仍然是個重定向,不過第二次重定向為模式2。大家不用擔心,沒 有模式3了,這個重定向也最多只有兩次,并且如果發生了第二次重定向,則其一定為模式2,而且這種情況只會發生在國家記錄上,對于地區記錄,模式1和模式 2是一樣的,地區記錄也不會發生2次重定向。不過,這個圖還可以更復雜,如圖7:



            圖6. 混和情況2
            圖6是模式1下最復雜的混和情況,不過我想應該也很好理解,只不過地區記錄也來重定向而已,有一點我要提醒你,如果重定向的地址是0,則表示未知的地區名。

            所以我們總結如下:一條IP記錄由[IP地址][國家記錄][地區記錄]組成,對于國家記錄,可以有三種表示方式:字符串形式,重定向模式1和重定向模式 2。對于地區記錄,可以有兩種表示方式:字符串形式和重定向,另外有一條規則:重定向模式1的國家記錄后不能跟地區記錄。按照這個總結,在這些方式中合理 組合,就構成了IP記錄的所有可能情況。

            設計的理由
            在我們繼續去了解索引區的結構之前,我們先來了解一下為何記錄區的結構要如此設計。我想你可能想到了答案:字符串重用。沒錯,在這種結構下,對于一個國家 名和地區名,我只需要保存其一次就可以了。我們舉例說明,為了表示方便,我們用小寫字母代表IP記錄,C表示國家名,A表示地區名: 

            有兩條記錄a(C1, A1), b(C2, A2),如果C1 = C2, A1 = A2,那么我們就可以使用圖3顯示的結構來實現重用 
            有三條記錄a(C1, A1), b(C2, A2), c(C3, A3),如果C1 = C2, A2 = A3,現在我們想存儲記錄b,那么我們可以用圖6的結構來實現重用 
            有兩條記錄a(C1, A1), b(C2, A2),如果C1 = C2,現在我們想存儲記錄b,那么我們可以采用模式2表示C2,用字符串表示A2 

            你可以舉出更多的情況,你也會發現在這種結構下,不同的字符串只需要存儲一次。

            了解索引區
            在"了解文件頭"部分,我們說明了文件頭實際上是兩個指針,分別指向了第一條索引和最后一條索引的絕對偏移。如圖8所示:



            圖8. 文件頭指向索引區圖示
            實在是很簡單,不是嗎?從文件頭你就可以定位到索引區,然后你就可以開始搜索IP了!每條索引長度為7個字節,前4個字節是起始IP地址,后三個字節就指 向了IP記錄。這里有些概念需要說明一下,什么是起始IP,那么有沒有結束IP? 假設有這么一條記錄:166.111.0.0 - 166.111.255.255,那么166.111.0.0就是起始IP,166.111.255.255就是結束IP,結束IP就是IP記錄中的那頭 4個字節,這下你應該就清楚了吧。于是乎,每條索引配合一條記錄,構成了一個IP范圍,如果你要查找166.111.138.138所在的位置,你就會發 現166.111.138.138落在了166.111.0.0 - 166.111.255.255 這個范圍內,那么你就可以順著這條索引去讀取國家和地區名了。那么我們給出一個最詳細的圖解吧:



            圖9. 文件詳細結構
            現在一切都清楚了是不是?也許還有一點你不清楚,QQWry.dat的版本信息存在哪里呢? 答案是:最后一條IP記錄實際上就是版本信息,最后一條記錄顯示出來就是這樣:255.255.255.0 255.255.255.255 純真網絡 2004年6月25日IP數據。OK,到現在你應該全部清楚了。

            posted @ 2011-10-01 21:52 不會飛的鳥 閱讀(321) | 評論 (0)編輯 收藏

            C/C++讀取純真QQIP地址數據庫

                 摘要: 關于 純真IP數據庫格式,詳細見下面帖子:http://blog.chinaunix.net/u1/41420/showart_322320.html程序說明:能夠根據輸入的IP,在 純真IP數據庫 中,搜索并且讀取對應的 物理地址,還可以導出所有的IP段地址信息。Code highlighting produced by Actipro CodeHighlighter (freeware)htt...  閱讀全文

            posted @ 2011-10-01 21:51 不會飛的鳥 閱讀(683) | 評論 (0)編輯 收藏

            [轉]驗證碼識別技術

                 摘要: 模擬精靈是首個公開最有效的驗證碼識別技術的軟件,使用模擬精靈制作了大量的免費、商用群發軟件,對很多復雜BT的驗證碼都能成功的識別。但是驗證碼仍然需要精湛的技術與足夠的耐心。請牢記這一點。驗證碼識別不適合浮躁的人去做。驗證碼識別是一項特殊的技術,任何一個公開的驗證碼識別代碼都會很快的失效。因為代碼的公開后相關網站都會很快的更改驗證碼。所以下面我只會介紹其原理。在這里討論驗證碼識別技術純粹基于技術研究...  閱讀全文

            posted @ 2011-09-14 13:38 不會飛的鳥 閱讀(2290) | 評論 (0)編輯 收藏

            socket學習中網絡序與主機序

            主機字節序轉換到網絡字節序列的原理:
            網絡字節序列采用低字節在高位的排列方式,
            而X86主機字節序列采用低字節在低位的方式
            其實只要交換一下就可以實現網絡字節序列和主機字節序列的轉換,
            所以對于上面的函數,htonl和ntohl是一樣的。
              h   host   主機  
              n   net     網絡  
              l   long   長整形  
              s   short   短整形  
              XtoX就是進行數據存儲順序的主機和網絡順序的轉換
            htonl和htons分別把無符號長整型和無符號短整型數字轉換成TCP/IP協議規定的統一的網絡字節序的數字,即大頭序。不同體系的計算機存儲數字時有些把最低位放在前面,另一些相反,即所謂大頭和小頭。數字進入Internet時應先用htonl或htons轉換成統一的大頭序。
             
            htonl(將32位主機字符順序轉換成網絡字符順序) 
            定義函數  unsigned long int htonl(unsigned long int hostlong);
             
            函數說明  htonl()用來將參數指定的32位hostlong 轉換成網絡字符順序。
             
            返回值  返回對應的網絡字符順序。
             
            htons(將16位主機字符順序轉換成網絡字符順序)   
            定義函數  unsigned short int htons(unsigned short int hostshort);
             
            函數說明  htons()用來將參數指定的16位hostshort轉換成網絡字符順序。
             
            返回值  返回對應的網絡字符順序。
            ntohl(將32位網絡字符順序轉換成主機字符順序) 
            定義函數  unsigned long int ntohl(unsigned long int netlong);
             
            函數說明  ntohl()用來將參數指定的32位netlong轉換成主機字符順序。
             
            返回值  返回對應的主機字符順序。
             
             
            ntohs(將 16位網絡字符順序轉換成主機字符順序)  
             
            定義函數  unsigned short int ntohs(unsigned short int netshort);
             
            函數說明  ntohs()用來將參數指定的16位netshort轉換成主機字符順序。
             
            返回值  返回對應的主機順序。
            比如網絡字節 為 00 01
            u_short    a;   // a=0100; 因為主機是從高字節到低字節的,所以應該轉化后
            a=ntohs(0001); //這樣 a=0001;
             
            假設你已經有了一個sockaddr_in結構體ina,你有一個IP地址"132.241.5.10" 要儲存在其中,你就要用到函數inet_addr(),將IP地址從 點數格式轉換成無符號長整型。使用方法如下:
            ina.sin_addr.s_addr = inet_addr(“132.241.5.10″);
            注意,inet_addr()返回的地址已經是網絡字節格式,所以你無需再調用函數htonl()。
             
             
            inet_addr(將網絡地址轉成二進制的數字)  
            定義函數  unsigned long int inet_addr(const char *cp);
             
            函數說明  inet_addr()用來將參數cp所指的網絡地址字符串轉換成網絡所使用的二進制數字。網絡地址字符串是以數字和點組成的字符串,例如:“163.13.132.68”。
             
            返回值  成功則返回對應的網絡二進制的數字,失敗返回-1。
             
            //ntoa:network to ascii
            //aton:ascii to network 
             
            inet_aton(將網絡地址轉成網絡二進制的數字) 
            定義函數  int inet_aton(const char * cp,struct in_addr *inp);
             
            函數說明  inet_aton()用來將參數cp所指的網絡地址字符串轉換成網絡使用的二進制的數字,然后存于參數inp所指的in_addr結構中。
            結構 in_addr定義如下
            struct in_addr
            {
            unsigned long int s_addr;
            };
             
            返回值  成功則返回非0值,失敗則返回0。
             
             
             
            inet_ntoa(將網絡二進制的數字轉換成網絡地址) 
            定義函數  char * inet_ntoa(struct in_addr in);
             
            函數說明  inet_ntoa()用來將參數in所指的網絡二進制的數字轉換成網絡地址,然后將指向此網絡地址字符串的指針返回。( 將網絡地址轉換成“.”點隔的字符串格式)
             
            返回值  成功則返回字符串指針,失敗則返回NULL。

            posted @ 2011-07-07 10:24 不會飛的鳥 閱讀(556) | 評論 (0)編輯 收藏

            socket編程-預備知識

            1. 預備知識

            1.1. 網絡字節序

            我們已經知道,內存中的多字節數據相對于內存地址有大端和小端之分,磁盤文件中的多字節數據相對于文件中的偏移地址也有大端小端之分。網絡數據流同樣有大端小端之分,那么如何定義網絡數據流的地址呢?發送主機通常將發送緩沖區中的數據按內存地址從低到高的順序發出,接收主機把從網絡上接到的字節依次保存在接收緩沖區中,也是按內存地址從低到高的順序保存,因此,網絡數據流的地址應這樣規定:先發出的數據是低地址,后發出的數據是高地址。

            TCP/IP協議規定,網絡數據流應采用大端字節序,即低地址高字節。例如上一節的UDP段格式,地址0-1是16位的源端口號,如果這個端口號是1000(0x3e8),則地址0是0x03,地址1是0xe8,也就是先發0x03,再發0xe8,這16位在發送主機的緩沖區中也應該是低地址存0x03,高地址存0xe8。但是,如果發送主機是小端字節序的,這16位被解釋成0xe803,而不是1000。因此,發送主機把1000填到發送緩沖區之前需要做字節序的轉換。同樣地,接收主機如果是小端字節序的,接到16位的源端口號也要做字節序的轉換。如果主機是大端字節序的,發送和接收都不需要做轉換。同理,32位的IP地址也要考慮網絡字節序和主機字節序的問題。

            為使網絡程序具有可移植性,使同樣的C代碼在大端和小端計算機上編譯后都能正常運行,可以調用以下庫函數做網絡字節序和主機字節序的轉換。

            #include <arpa/inet.h>
            
            uint32_t htonl(uint32_t hostlong);
            uint16_t htons(uint16_t hostshort);
            uint32_t ntohl(uint32_t netlong);
            uint16_t ntohs(uint16_t netshort);

            這些函數名很好記,h表示host,n表示network,l表示32位長整數,s表示16位短整數。例如htonl表示將32位的長整數從主機字節序轉換為網絡字節序,例如將IP地址轉換后準備發送。如果主機是小端字節序,這些函數將參數做相應的大小端轉換然后返回,如果主機是大端字節序,這些函數不做轉換,將參數原封不動地返回。

            1.2. socket地址的數據類型及相關函數 請點評

            socket API是一層抽象的網絡編程接口,適用于各種底層網絡協議,如IPv4、IPv6,以及后面要講的UNIX Domain Socket。然而,各種網絡協議的地址格式并不相同,如下圖所示:

            圖 37.1. sockaddr數據結構

            sockaddr數據結構

            IPv4和IPv6的地址格式定義在netinet/in.h中,IPv4地址用sockaddr_in結構體表示,包括16位端口號和32位IP地址,IPv6地址用sockaddr_in6結構體表示,包括16位端口號、128位IP地址和一些控制字段。UNIX Domain Socket的地址格式定義在sys/un.h中,用sockaddr_un結構體表示。各種socket地址結構體的開頭都是相同的,前16位表示整個結構體的長度(并不是所有UNIX的實現都有長度字段,如Linux就沒有),后16位表示地址類型。IPv4、IPv6和UNIX Domain Socket的地址類型分別定義為常數AF_INET、AF_INET6、AF_UNIX。這樣,只要取得某種sockaddr結構體的首地址,不需要知道具體是哪種類型的sockaddr結構體,就可以根據地址類型字段確定結構體中的內容。因此,socket API可以接受各種類型的sockaddr結構體指針做參數,例如bind、accept、connect等函數,這些函數的參數應該設計成void *類型以便接受各種類型的指針,但是sock API的實現早于ANSI C標準化,那時還沒有void *類型,因此這些函數的參數都用struct sockaddr *類型表示,在傳遞參數之前要強制類型轉換一下,例如:

            struct sockaddr_in servaddr;
            /* initialize servaddr */
            bind(listen_fd, (struct sockaddr *)&servaddr, sizeof(servaddr));

            本節只介紹基于IPv4的socket網絡編程,sockaddr_in中的成員struct in_addr sin_addr表示32位的IP地址。但是我們通常用點分十進制的字符串表示IP地址,以下函數可以在字符串表示和in_addr表示之間轉換。

            字符串轉in_addr的函數:

            #include <arpa/inet.h>
            
            int inet_aton(const char *strptr, struct in_addr *addrptr);
            in_addr_t inet_addr(const char *strptr);
            int inet_pton(int family, const char *strptr, void *addrptr);

            in_addr轉字符串的函數:

            char *inet_ntoa(struct in_addr inaddr);
            const char *inet_ntop(int family, const void *addrptr, char *strptr, size_t len);

            其中inet_pton和inet_ntop不僅可以轉換IPv4的in_addr,還可以轉換IPv6的in6_addr,因此函數接口是void *addrptr。

            posted @ 2011-07-03 14:00 不會飛的鳥 閱讀(394) | 評論 (0)編輯 收藏

            僅列出標題
            共9頁: 1 2 3 4 5 6 7 8 9 
            久久91精品国产91久久小草| 久久精品国产99久久久古代| 久久精品国产91久久综合麻豆自制 | 久久精品18| 亚洲精品国产综合久久一线| 97精品依人久久久大香线蕉97| 久久se精品一区二区| 欧美午夜精品久久久久久浪潮| 色欲久久久天天天综合网精品 | 国产午夜精品理论片久久 | 国内精品欧美久久精品| 偷偷做久久久久网站| 91久久精品国产成人久久| 亚洲精品乱码久久久久久蜜桃不卡| 久久777国产线看观看精品| 久久亚洲AV无码精品色午夜麻豆| 四虎国产精品免费久久久| 亚洲熟妇无码另类久久久| 久久强奷乱码老熟女网站| 欧美久久综合性欧美| 久久av无码专区亚洲av桃花岛| 久久精品夜色噜噜亚洲A∨| 久久久久免费精品国产| 色综合久久久久综合体桃花网| 香蕉久久永久视频| 久久91这里精品国产2020| 久久精品一区二区国产| 国内精品久久久久伊人av| 久久精品a亚洲国产v高清不卡| 日韩欧美亚洲综合久久| 久久人人爽人人澡人人高潮AV | 久久97精品久久久久久久不卡| 色狠狠久久综合网| 无夜精品久久久久久| 国内精品久久国产| 久久只有这精品99| 狠狠综合久久综合88亚洲| 精品国产99久久久久久麻豆| 亚洲精品国产字幕久久不卡| 欧美牲交A欧牲交aⅴ久久| 97热久久免费频精品99|