• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            jake1036

            larbin源代碼分析<三> url類分析

            larbin源代碼分析<三> url類分析

              一 分析utils包中的url類
                  該類代表實際中的一個url,成員變量主要有 ,char * file ,char * host , uint16_t port  , int8_t depth, char * cookie 
                  還有一個public 屬性的 in_addr 表示一個ipv4的地址。
                  成員函數中主要有一些,比如構造函數,返回url,添加cookie等操作。
              二 實例代碼如下
                  

            // Larbin
            // Sebastien Ailleret
            // 15-11-99 -> 14-03-02

            /* This class describes an URL */

            #ifndef URL_H
            #define URL_H

            #include 
            <netinet/in.h>
            #include 
            <sys/types.h>
            #include 
            <sys/socket.h>
            #include 
            <stdlib.h>

            #include 
            "types.h"

            bool fileNormalize (char *file);

            class url {
             
            private:
              
            char *host;
              
            char *file;
              uint16_t port; 
            // the order of variables is important for physical size
              int8_t depth;
              
            /* parse the url */
              
            void parse (char *s);
              
            /** parse a file with base */
              
            void parseWithBase (char *u, url *base);
              
            /* normalize file name */
              
            bool normalize (char *file);
              
            /* Does this url starts with a protocol name */
              
            bool isProtocol (char *s);
              
            /* constructor used by giveBase */
              url (
            char *host, uint port, char *file);

             
            public:
              
            /* Constructor : Parses an url (u is deleted) */
              url (
            char *u, int8_t depth, url *base);

              
            /* constructor used by input */
              url (
            char *line, int8_t depth);

              
            /* Constructor : read the url from a file (cf serialize) */
              url (
            char *line);

              
            /* Destructor */
              
            ~url ();

              
            /* inet addr (once calculated) */
              
            struct in_addr addr;

              
            /* Is it a valid url ? */
              
            bool isValid ();

              
            /* print an URL */
              
            void print ();

              
            /* return the host */
              inline 
            char *getHost () return host; }

              
            /* return the port */
              inline 
            uint getPort () return port; }

              
            /* return the file */
              inline 
            char *getFile () return file; }

              
            /** Depth in the Site */
              inline int8_t getDepth () 
            return depth; }

              
            /* Set depth to max if we are at an entry point in the site
               * try to find the ip addr
               * answer false if forbidden by robots.txt, true otherwise 
            */

              
            bool initOK (url *from);

              
            /** return the base of the url
               * give means that you have to delete the string yourself
               
            */

              url 
            *giveBase ();

              
            /** return a char * representation of the url
               * give means that you have to delete the string yourself
               
            */

              
            char *giveUrl ();

              
            /** write the url in a buffer
               * buf must be at least of size maxUrlSize
               * returns the size of what has been written (not including '\0')
               
            */

              
            int writeUrl (char *buf);

              
            /* serialize the url for the Persistent Fifo */
              
            char *serialize ();

              
            /* very thread unsafe serialisation in a static buffer */
              
            char *getUrl();

              
            /* return a hashcode for the host of this url */
              
            uint hostHashCode ();

              
            /* return a hashcode for this url */
              
            uint hashCode ();

            #ifdef URL_TAGS
              
            /* tag associated to this url */
              
            uint tag;
            #endif // URL_TAGS

            #ifdef COOKIES
              
            /* cookies associated with this page */
              
            char *cookie;
              
            void addCookie(char *header);
            #else // COOKIES
              inline 
            void addCookie(char *header) {}
            #endif // COOKIES
            }
            ;

            #endif // URL_H

             
            三 代碼分析
                 url中的實現類主要是,創建url,其中創建規則如下:
                 http://www.hach.com/r/0343/ttt.html
                則host為www.hach.com   , file 為/r/0343/ttt.html
               url的構造函數即根據 上述規則構建 url類。 若是含有base url 則新的url的file為 base->file + 新url 的file。
               (2)另外url的hash函數即是 利用了 file 字符串和 host字符串。
                       /* return a hashcode for this url */
                   uint url::hashCode () {
                     unsigned int h=port;
                     unsigned int i=0;
                     while (host[i] != 0) {
                         h = 31*h + host[i];
                         i++;
                      }
                       i=0;
                    while (file[i] != 0) {
                         h = 31*h + file[i];
                         i++;
                     }
                   return h % hashSize;
                   }
               (3) cookie的處理函數如下
                     若addCookie(char * head) 中的head字符串是以 set-cookie: 開始的,則將head之后的12個字符
                     添加到cookie變量中。
               
             
            四綜上: 
              url 類中的成員變量,char * file ,char * host , port , cookie 能夠表示一個url。
              并且url類中提供了解析函數,使用戶可以根據從網頁中爬取的url構造url類對象。






             

            posted on 2011-06-11 21:42 kahn 閱讀(874) 評論(0)  編輯 收藏 引用

            久久亚洲国产成人精品性色| 亚洲精品综合久久| 久久久久久久久久久久久久| 亚洲欧洲久久av| 久久青青草原精品国产| 韩国三级中文字幕hd久久精品| 久久久久亚洲爆乳少妇无| 国产69精品久久久久9999APGF | 久久男人Av资源网站无码软件| 久久久噜噜噜www成人网| 激情久久久久久久久久| 久久久国产精华液| 精品视频久久久久| 久久91精品国产91久久户| 久久伊人中文无码| 久久91精品国产91久久户| 无码人妻久久久一区二区三区 | 久久青青草视频| 91久久精一区二区三区大全| 久久无码一区二区三区少妇 | 国产精品99久久久久久人| 久久久久综合国产欧美一区二区| 精品人妻久久久久久888| 综合久久国产九一剧情麻豆| 精品久久久久久国产三级| 久久91亚洲人成电影网站| 亚洲AV无码久久精品狠狠爱浪潮| 久久亚洲AV永久无码精品| 国产精品久久久久乳精品爆| 久久精品视频网| 99久久99久久久精品齐齐| 天天爽天天狠久久久综合麻豆| 久久综合视频网| 亚洲精品成人久久久| 无码任你躁久久久久久| 久久国产综合精品五月天| 三级韩国一区久久二区综合 | 国产精品岛国久久久久| 久久99亚洲网美利坚合众国| 亚洲精品乱码久久久久66| 久久久久久久精品成人热色戒|