青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

newplan

阿基米德在洗澡時發現浮力原理,高興得來不及穿上褲子,跑到街上大喊:Eureka(我找到了)。
posts - 39, comments - 26, trackbacks - 0, articles - 4
  C++博客 :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理
import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

class scraber implements Runnable
{
    
private String ss;
    
private String url;
    
/**
     * 
     * 該函數爬取網絡上跟所需查詢單詞想通的語句,并存取
     * 
@param ss 流
     * 
@param url 超鏈接
     
*/

    
public scraber(String ss,String url)
    
{    
        
this.ss=ss;
        
this.url=url;

    }

    
public void run() 
    
{   
            String s
=new String("不錯");
            
if(ss.contains(s))
            
{
            
/**
             * 需要對字符串進行一些必要裁剪,使得字符串更加簡單,醒目
             
*/

                
int begin=ss.indexOf(s);
                ss 
= ss.substring(begin);
                
int end = 30 < ss.length()? 30:ss.length();
                ss
=ss.substring(0, end);
                System.out.println(url
+"  "+"begin:"+ss);    
            }
       
    }

}

/**
 * 
@author Administrator
 * 在廣度遍歷的每一個枝點安放一個機器人線程,該線程負責該枝點一下的搜索
 
*/

class irobot implements Runnable
{    
    
private String ss;
    
public irobot(String ss)
    
{
        
this.ss=ss;
    }

    
public void run()
    
{    
        MySearch ms
=new MySearch();
        
/**
        *    線程獨立啟動對該URL內容的檢索
        
*/

        
try
        
{
            ms.checkURL(ss);
        }

        
catch(IOException e)
        
{
            
        }

    }

}

class MySearch{
    
/**
     * 使用線程池來進行大批量線程的管理,這里規定當前最多線程數為10.可重用的線程
     * 不斷嘗試著和newCachedThreadPool() 進行比較,發現newCachedThreadPool() 比較容易崩潰,但是速度非常快
     * 適合于快速的查詢,但是要對查詢的深度進行嚴格限制。使用newFixedThreadPool(10)適度相對慢一些,但是查詢穩定,因為
     * 查詢已經限制好了在10個線程的范圍內,但是到一定程度也會崩潰,這個程度比前面深,最主要是由于內存不足,算法本身對內存的需求很大。
     
*/

    ExecutorService    exec 
= Executors.newFixedThreadPool(10);
    
/**由于多線程公用該變量,直接設置它為靜態變量
     * 使用hashMap使得對URL的重復性查詢檢索效率倍增
     
*/

    
static HashMap<String,Integer>  hashList = new HashMap<String,Integer>();
    
/**由于多線程公用該變量,直接設置它為靜態變量
     * URL記錄在該文件中
     
*/

    
static File store=new File("d://link.txt");    
    
/**由于多線程公用該變量,直接設置它為靜態變量
     * 文件流
     
*/

    
static FileWriter writeFile;  
    
public void checkURL(String uu)throws IOException
    
{                       
        
if(uu.endsWith("/"))
        
{
            uu
=uu.substring(0,uu.length()-1);
        }

        
try{
            URL u 
= new URL(uu);    
            InputStream inn 
=u.openStream();
            
if(hashList.containsKey(uu))
            
{
                Integer numLink
=hashList.get(uu);
                hashList.put(uu, 
++numLink);
                
return;
            }
 
            
            hashList.put(uu, 
1);
            
            writeFile.append(uu
+"\n");
            
            BufferedReader in 
= new BufferedReader(new InputStreamReader(inn,"ISO-8859-1"));
            
            String ss;
            
            ArrayList
<String> tempList=new ArrayList<String>();
            
            
int sureOfCharset = 0
            
/**
             * 當前所搜索的文檔,查詢一遍,查找所需要查找的句子
             * 并做超鏈接提取工作,存放到臨時鏈接隊列中。
             
*/

            
while((ss=in.readLine())!=null)
            
{
                
/**
                 * 注意對文檔的字符編碼進行轉換,一般是轉換成UTF-8格式
                 
*/

                ss
= ss.trim();
                
if(sureOfCharset == 0)
                
{
                    
/**
                     * 用正則表達式匹配更加精準,效率更好
                     
*/

                    
if(ss.contains("charset"))
                    
{
                    
                        String pattern1
="(utf-8|UTF-8)";
                        String pattern2
="(gbk|GBK)";
                        String pattern3
="(gb2312|GB2312)";
                        Pattern p1
=Pattern.compile(pattern1);
                        Pattern p2
=Pattern.compile(pattern2);
                        Pattern p3
=Pattern.compile(pattern3);
                        Matcher m1
=p1.matcher(ss);
                        Matcher m2
=p2.matcher(ss);
                        Matcher m3
=p3.matcher(ss);
                        
/**
                         * 匹配模式一成功,即文檔為utf8編碼方式
                         
*/

                        
if(m1.find())
                        
{    
                            sureOfCharset 
=1;
                        }

                        
/**
                         * 匹配模式二成功,即文檔為GBK編碼方式
                         
*/

                        
else if(m2.find())
                        
{
                            sureOfCharset 
=2;
                        }

                        
/**
                         * 匹配模式三成功,即文檔為gb312編碼方式
                         
*/

                        
else if(m3.find())
                        
{    
                            sureOfCharset 
=3;
                        }

                        
/**
                         * 匹配模式失敗
                         
*/

                        
else
                        
{
                            sureOfCharset 
= 4;
                        }

                    }

                    
                }

                
switch(sureOfCharset)
                
{
                
case 0:{    
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"utf-8");
                        
break;    
                        }

                
case 1:{
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"utf-8");
                        
break;    
                        }
                                
                
case 2:{
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"gbk");
                        
break;    
                        }

                
case 3:{
                        ss
= new String(ss.getBytes("ISO-8859-1"),"gb2312");
                        
break;    
                        }

                
default:{    
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"utf-8");
                        
break;    
                        }

                }

                
/**
                 * 開啟爬蟲線程抓取和“***”有關的語句
                 
*/

                scraber    buger
=new scraber(ss,uu);
                
                exec.execute(buger);
                
/**
                 * 提取超鏈接
                 
*/

                check(ss,tempList);
                
            }

            
/**
             * 對臨時超鏈接隊列進行處理
             
*/

            Iterator
<String> it=tempList.iterator();
            
/**
             * 提取出臨時超鏈接隊列中的每一個鏈接
             
*/

            
while(it.hasNext())
            
{
                
                String ref 
= (String)it.next();
                
/**
                 * 啟動一個機器人線程,處理該超鏈接
                 
*/

                irobot ir
=new irobot(ref);
                Thread robThread
= new Thread(ir);
                robThread.start();
                
            }

            
/**
             * 清空臨時隊列
             
*/

            tempList.clear();
            
/**
             * 關閉線程池
             
*/

            exec.shutdown();
        }

        
catch(IOException e)
        
{
            
/**
             * 無法連接
             *
            
*/

        }

        
                                                                                            
    }

    
/**
     * 從該行中提取出超鏈接
     * 
@param s 該行字符串
     * 
@param tempList    臨時超鏈接隊列
     * 
     
*/

    
void check(String s,ArrayList<String> tempList)
    
{
        
int i=s.indexOf("href=\"");
        if(i>0)
        
{
            String news
=s.substring(i+6);
            
int j1= news.indexOf("\"");            
            if(j1>0)
            
{
                
                String ref 
= news.substring(0,j1);
                tempList.add(ref);
            }

    
        }


    }


    
public static void main(String args[])throws IOException
    
{    
        
        MySearch t
= new MySearch();
        System.out.println(
"%searching start%");
        t.go(
"http://www.shnenglu.com/"); 
    }



    
void go(String uu)
    
{
        
try{
            writeFile
= new FileWriter(store);
            checkURL(uu);
            writeFile.close();
        }
catch(IOException e)
        
{
            
        }

    
    }

}

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美日韩国产区| 亚洲欧美日韩成人| 免费在线亚洲欧美| 亚洲第一久久影院| 亚洲国产日韩精品| 欧美极品影院| 亚洲男人的天堂在线aⅴ视频| 9i看片成人免费高清| 欧美日韩在线电影| 亚洲综合社区| 久久国产一区二区三区| 1769国内精品视频在线播放| 亚洲人精品午夜| 国产精品你懂得| 免费欧美高清视频| 欧美日本在线| 久久久国产精彩视频美女艺术照福利| 久久精品夜色噜噜亚洲aⅴ| 亚洲美女毛片| 亚洲欧美中文日韩在线| 在线观看亚洲精品| 日韩香蕉视频| 黑人巨大精品欧美一区二区小视频 | 久久综合狠狠综合久久综青草 | 在线观看亚洲视频| 亚洲人成网站色ww在线| 国产老肥熟一区二区三区| 久久夜精品va视频免费观看| 欧美精品二区| 久久人91精品久久久久久不卡| 欧美激情一区二区三区在线| 性欧美1819sex性高清| 久久综合狠狠| 欧美在线国产精品| 欧美激情一区二区三区成人| 亚洲欧美视频在线观看| 久久亚洲春色中文字幕| 亚洲影视中文字幕| 美国十次了思思久久精品导航| 午夜亚洲性色视频| 欧美区亚洲区| 亚洲高清激情| 一区在线观看| 欧美一站二站| 午夜国产不卡在线观看视频| 欧美精品一区二区精品网| 久久亚洲春色中文字幕久久久| 国产精品v日韩精品| 亚洲国产日韩一级| 亚洲黄色毛片| 六月丁香综合| 欧美大片免费观看在线观看网站推荐| 国产精品日韩精品| 亚洲视频日本| 亚洲专区一二三| 欧美午夜剧场| 亚洲午夜国产一区99re久久 | 日韩午夜av电影| 美女精品一区| 亚洲福利专区| 亚洲精品美女久久久久| 男女激情久久| 亚洲国产激情| 亚洲美女中文字幕| 欧美精品久久久久久久久久| 亚洲国产第一页| 亚洲精品视频免费观看| 欧美刺激午夜性久久久久久久| 欧美国产视频在线观看| 亚洲三级电影全部在线观看高清| 久久综合伊人77777| 欧美黄色aa电影| 99re66热这里只有精品4| 欧美精品一区二区三区在线看午夜 | 亚洲精品视频在线| 欧美激情视频给我| aa成人免费视频| 亚洲欧美激情视频在线观看一区二区三区 | 亚洲一区观看| 欧美在线视频免费| 国语自产精品视频在线看8查询8| 久久精品夜色噜噜亚洲aⅴ| 欧美丰满高潮xxxx喷水动漫| 亚洲伦理一区| 国产精品日韩在线| 久久久久久久久一区二区| 欧美va亚洲va日韩∨a综合色| 最近中文字幕日韩精品| 欧美日韩国产综合在线| 亚洲一区二区精品在线观看| 久久久久免费视频| 亚洲精品国产精品乱码不99按摩| 欧美日韩三级视频| 久久成人18免费观看| 亚洲第一视频网站| 午夜精品久久久久99热蜜桃导演| 黑人巨大精品欧美一区二区| 欧美高清视频免费观看| 亚洲视频成人| 欧美激情精品久久久久久久变态 | 一区二区三区av| 国产一区二区三区自拍| 欧美精品日韩| 久久av免费一区| 亚洲毛片一区| 美女啪啪无遮挡免费久久网站| 夜夜嗨av一区二区三区四季av| 国产日韩亚洲欧美精品| 欧美大片免费观看| 午夜精品久久久久久久99樱桃 | 美日韩精品视频免费看| 亚洲一区二区在线看| 1024亚洲| 国产欧美精品一区二区色综合 | 国产偷久久久精品专区| 欧美日韩成人综合在线一区二区| 久久激情综合| 宅男精品视频| 亚洲理论电影网| 欧美成人一区二区三区| 久久se精品一区二区| 亚洲一级一区| 99国产精品视频免费观看| 国模私拍视频一区| 国产精品制服诱惑| 欧美三级中文字幕在线观看| 久久综合狠狠综合久久综青草| 亚洲男人av电影| 中文av一区特黄| 日韩视频在线播放| 亚洲激情一区二区| 国产精品久线观看视频| 噜噜噜在线观看免费视频日韩| 欧美一级久久久| 欧美亚洲日本一区| 亚洲欧美日韩国产另类专区| 一区二区三区你懂的| 欧美黄色免费| 欧美 日韩 国产在线| 久久综合久久久久88| 久久久久久国产精品mv| 欧美一级专区| 性久久久久久| 久久精品亚洲| 久久精品青青大伊人av| 久久精品欧美| 久久中文字幕一区二区三区| 久久人人爽爽爽人久久久| 久久国产视频网站| 久久精品国产第一区二区三区最新章节 | 韩国av一区二区| 韩国av一区二区三区在线观看 | 欧美黄色成人网| 欧美精品三区| 国产精品爱啪在线线免费观看| 欧美日韩性生活视频| 国产精品igao视频网网址不卡日韩| 欧美日韩国产另类不卡| 国产精品成人在线| 国产日韩欧美精品| 精品成人久久| 一区二区av在线| 小黄鸭精品aⅴ导航网站入口| 性做久久久久久免费观看欧美| 久久国产加勒比精品无码| 久久综合国产精品| 亚洲国产裸拍裸体视频在线观看乱了中文 | 久久精品国产在热久久 | 美腿丝袜亚洲色图| 欧美日韩精品国产| 国产精品毛片大码女人| 激情视频一区二区三区| 亚洲精品四区| 午夜亚洲视频| 欧美国产一区在线| 一区二区三区鲁丝不卡| 欧美在线观看网址综合| 欧美fxxxxxx另类| 国产精品盗摄一区二区三区| 国产精品一区二区在线观看不卡| 激情伊人五月天久久综合| 妖精成人www高清在线观看| 欧美一区二区三区在线观看| 免费观看一区| 亚洲午夜av| 欧美大片在线影院| 国产精品一区二区男女羞羞无遮挡| 在线看片一区| 午夜精品久久久久久| 欧美激情免费在线| 香蕉久久夜色精品| 欧美精品久久久久久久久久| 国产在线视频欧美一区二区三区| 亚洲伦伦在线| 老司机67194精品线观看| 亚洲色图综合久久| 欧美激情第五页| 伊人伊人伊人久久| 久久www成人_看片免费不卡 | 久久亚洲一区二区|