• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            jake1036

            larbin源代碼分析<三> url類分析

            larbin源代碼分析<三> url類分析

              一 分析utils包中的url類
                  該類代表實際中的一個url,成員變量主要有 ,char * file ,char * host , uint16_t port  , int8_t depth, char * cookie 
                  還有一個public 屬性的 in_addr 表示一個ipv4的地址。
                  成員函數中主要有一些,比如構造函數,返回url,添加cookie等操作。
              二 實例代碼如下
                  

            // Larbin
            // Sebastien Ailleret
            // 15-11-99 -> 14-03-02

            /* This class describes an URL */

            #ifndef URL_H
            #define URL_H

            #include 
            <netinet/in.h>
            #include 
            <sys/types.h>
            #include 
            <sys/socket.h>
            #include 
            <stdlib.h>

            #include 
            "types.h"

            bool fileNormalize (char *file);

            class url {
             
            private:
              
            char *host;
              
            char *file;
              uint16_t port; 
            // the order of variables is important for physical size
              int8_t depth;
              
            /* parse the url */
              
            void parse (char *s);
              
            /** parse a file with base */
              
            void parseWithBase (char *u, url *base);
              
            /* normalize file name */
              
            bool normalize (char *file);
              
            /* Does this url starts with a protocol name */
              
            bool isProtocol (char *s);
              
            /* constructor used by giveBase */
              url (
            char *host, uint port, char *file);

             
            public:
              
            /* Constructor : Parses an url (u is deleted) */
              url (
            char *u, int8_t depth, url *base);

              
            /* constructor used by input */
              url (
            char *line, int8_t depth);

              
            /* Constructor : read the url from a file (cf serialize) */
              url (
            char *line);

              
            /* Destructor */
              
            ~url ();

              
            /* inet addr (once calculated) */
              
            struct in_addr addr;

              
            /* Is it a valid url ? */
              
            bool isValid ();

              
            /* print an URL */
              
            void print ();

              
            /* return the host */
              inline 
            char *getHost () return host; }

              
            /* return the port */
              inline 
            uint getPort () return port; }

              
            /* return the file */
              inline 
            char *getFile () return file; }

              
            /** Depth in the Site */
              inline int8_t getDepth () 
            return depth; }

              
            /* Set depth to max if we are at an entry point in the site
               * try to find the ip addr
               * answer false if forbidden by robots.txt, true otherwise 
            */

              
            bool initOK (url *from);

              
            /** return the base of the url
               * give means that you have to delete the string yourself
               
            */

              url 
            *giveBase ();

              
            /** return a char * representation of the url
               * give means that you have to delete the string yourself
               
            */

              
            char *giveUrl ();

              
            /** write the url in a buffer
               * buf must be at least of size maxUrlSize
               * returns the size of what has been written (not including '\0')
               
            */

              
            int writeUrl (char *buf);

              
            /* serialize the url for the Persistent Fifo */
              
            char *serialize ();

              
            /* very thread unsafe serialisation in a static buffer */
              
            char *getUrl();

              
            /* return a hashcode for the host of this url */
              
            uint hostHashCode ();

              
            /* return a hashcode for this url */
              
            uint hashCode ();

            #ifdef URL_TAGS
              
            /* tag associated to this url */
              
            uint tag;
            #endif // URL_TAGS

            #ifdef COOKIES
              
            /* cookies associated with this page */
              
            char *cookie;
              
            void addCookie(char *header);
            #else // COOKIES
              inline 
            void addCookie(char *header) {}
            #endif // COOKIES
            }
            ;

            #endif // URL_H

             
            三 代碼分析
                 url中的實現類主要是,創建url,其中創建規則如下:
                 http://www.hach.com/r/0343/ttt.html
                則host為www.hach.com   , file 為/r/0343/ttt.html
               url的構造函數即根據 上述規則構建 url類。 若是含有base url 則新的url的file為 base->file + 新url 的file。
               (2)另外url的hash函數即是 利用了 file 字符串和 host字符串。
                       /* return a hashcode for this url */
                   uint url::hashCode () {
                     unsigned int h=port;
                     unsigned int i=0;
                     while (host[i] != 0) {
                         h = 31*h + host[i];
                         i++;
                      }
                       i=0;
                    while (file[i] != 0) {
                         h = 31*h + file[i];
                         i++;
                     }
                   return h % hashSize;
                   }
               (3) cookie的處理函數如下
                     若addCookie(char * head) 中的head字符串是以 set-cookie: 開始的,則將head之后的12個字符
                     添加到cookie變量中。
               
             
            四綜上: 
              url 類中的成員變量,char * file ,char * host , port , cookie 能夠表示一個url。
              并且url類中提供了解析函數,使用戶可以根據從網頁中爬取的url構造url類對象。






             

            posted on 2011-06-11 21:42 kahn 閱讀(876) 評論(0)  編輯 收藏 引用

            亚洲级αV无码毛片久久精品| 久久av无码专区亚洲av桃花岛| 亚洲国产精品久久久久| 秋霞久久国产精品电影院| 久久精品国产99国产精品| 亚洲精品乱码久久久久久蜜桃| 久久99精品久久久久久久久久| 久久国产成人精品麻豆| 人妻精品久久久久中文字幕69| 蜜桃麻豆www久久国产精品| 国内精品伊人久久久久av一坑| 久久香蕉国产线看观看99| 亚洲国产精品综合久久网络 | 久久狠狠爱亚洲综合影院| 久久国产免费观看精品| 亚洲国产精品嫩草影院久久| 97久久精品无码一区二区| 亚洲AV日韩AV天堂久久| 亚洲国产精品人久久| 日韩精品久久久久久免费| 青青青青久久精品国产h久久精品五福影院1421| 亚洲精品蜜桃久久久久久| 国内精品免费久久影院| 91久久国产视频| 精品国产VA久久久久久久冰 | 伊人色综合久久| 精品无码久久久久久午夜| 欧美日韩精品久久免费| 久久久久精品国产亚洲AV无码| 99久久国产主播综合精品 | 久久精品成人一区二区三区| 精品综合久久久久久888蜜芽| 男女久久久国产一区二区三区| 国产精品亚洲综合久久| 久久夜色精品国产噜噜麻豆| 亚洲人成精品久久久久| 欧美一级久久久久久久大片| 91超碰碰碰碰久久久久久综合| 精品久久久久久亚洲| 久久亚洲国产中v天仙www| 伊人久久综合热线大杳蕉下载|