青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

newplan

阿基米德在洗澡時發現浮力原理,高興得來不及穿上褲子,跑到街上大喊:Eureka(我找到了)。
posts - 39, comments - 26, trackbacks - 0, articles - 4
  C++博客 :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理
import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

class scraber implements Runnable
{
    
private String ss;
    
private String url;
    
/**
     * 
     * 該函數爬取網絡上跟所需查詢單詞想通的語句,并存取
     * 
@param ss 流
     * 
@param url 超鏈接
     
*/

    
public scraber(String ss,String url)
    
{    
        
this.ss=ss;
        
this.url=url;

    }

    
public void run() 
    
{   
            String s
=new String("不錯");
            
if(ss.contains(s))
            
{
            
/**
             * 需要對字符串進行一些必要裁剪,使得字符串更加簡單,醒目
             
*/

                
int begin=ss.indexOf(s);
                ss 
= ss.substring(begin);
                
int end = 30 < ss.length()? 30:ss.length();
                ss
=ss.substring(0, end);
                System.out.println(url
+"  "+"begin:"+ss);    
            }
       
    }

}

/**
 * 
@author Administrator
 * 在廣度遍歷的每一個枝點安放一個機器人線程,該線程負責該枝點一下的搜索
 
*/

class irobot implements Runnable
{    
    
private String ss;
    
public irobot(String ss)
    
{
        
this.ss=ss;
    }

    
public void run()
    
{    
        MySearch ms
=new MySearch();
        
/**
        *    線程獨立啟動對該URL內容的檢索
        
*/

        
try
        
{
            ms.checkURL(ss);
        }

        
catch(IOException e)
        
{
            
        }

    }

}

class MySearch{
    
/**
     * 使用線程池來進行大批量線程的管理,這里規定當前最多線程數為10.可重用的線程
     * 不斷嘗試著和newCachedThreadPool() 進行比較,發現newCachedThreadPool() 比較容易崩潰,但是速度非常快
     * 適合于快速的查詢,但是要對查詢的深度進行嚴格限制。使用newFixedThreadPool(10)適度相對慢一些,但是查詢穩定,因為
     * 查詢已經限制好了在10個線程的范圍內,但是到一定程度也會崩潰,這個程度比前面深,最主要是由于內存不足,算法本身對內存的需求很大。
     
*/

    ExecutorService    exec 
= Executors.newFixedThreadPool(10);
    
/**由于多線程公用該變量,直接設置它為靜態變量
     * 使用hashMap使得對URL的重復性查詢檢索效率倍增
     
*/

    
static HashMap<String,Integer>  hashList = new HashMap<String,Integer>();
    
/**由于多線程公用該變量,直接設置它為靜態變量
     * URL記錄在該文件中
     
*/

    
static File store=new File("d://link.txt");    
    
/**由于多線程公用該變量,直接設置它為靜態變量
     * 文件流
     
*/

    
static FileWriter writeFile;  
    
public void checkURL(String uu)throws IOException
    
{                       
        
if(uu.endsWith("/"))
        
{
            uu
=uu.substring(0,uu.length()-1);
        }

        
try{
            URL u 
= new URL(uu);    
            InputStream inn 
=u.openStream();
            
if(hashList.containsKey(uu))
            
{
                Integer numLink
=hashList.get(uu);
                hashList.put(uu, 
++numLink);
                
return;
            }
 
            
            hashList.put(uu, 
1);
            
            writeFile.append(uu
+"\n");
            
            BufferedReader in 
= new BufferedReader(new InputStreamReader(inn,"ISO-8859-1"));
            
            String ss;
            
            ArrayList
<String> tempList=new ArrayList<String>();
            
            
int sureOfCharset = 0
            
/**
             * 當前所搜索的文檔,查詢一遍,查找所需要查找的句子
             * 并做超鏈接提取工作,存放到臨時鏈接隊列中。
             
*/

            
while((ss=in.readLine())!=null)
            
{
                
/**
                 * 注意對文檔的字符編碼進行轉換,一般是轉換成UTF-8格式
                 
*/

                ss
= ss.trim();
                
if(sureOfCharset == 0)
                
{
                    
/**
                     * 用正則表達式匹配更加精準,效率更好
                     
*/

                    
if(ss.contains("charset"))
                    
{
                    
                        String pattern1
="(utf-8|UTF-8)";
                        String pattern2
="(gbk|GBK)";
                        String pattern3
="(gb2312|GB2312)";
                        Pattern p1
=Pattern.compile(pattern1);
                        Pattern p2
=Pattern.compile(pattern2);
                        Pattern p3
=Pattern.compile(pattern3);
                        Matcher m1
=p1.matcher(ss);
                        Matcher m2
=p2.matcher(ss);
                        Matcher m3
=p3.matcher(ss);
                        
/**
                         * 匹配模式一成功,即文檔為utf8編碼方式
                         
*/

                        
if(m1.find())
                        
{    
                            sureOfCharset 
=1;
                        }

                        
/**
                         * 匹配模式二成功,即文檔為GBK編碼方式
                         
*/

                        
else if(m2.find())
                        
{
                            sureOfCharset 
=2;
                        }

                        
/**
                         * 匹配模式三成功,即文檔為gb312編碼方式
                         
*/

                        
else if(m3.find())
                        
{    
                            sureOfCharset 
=3;
                        }

                        
/**
                         * 匹配模式失敗
                         
*/

                        
else
                        
{
                            sureOfCharset 
= 4;
                        }

                    }

                    
                }

                
switch(sureOfCharset)
                
{
                
case 0:{    
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"utf-8");
                        
break;    
                        }

                
case 1:{
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"utf-8");
                        
break;    
                        }
                                
                
case 2:{
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"gbk");
                        
break;    
                        }

                
case 3:{
                        ss
= new String(ss.getBytes("ISO-8859-1"),"gb2312");
                        
break;    
                        }

                
default:{    
                        ss 
= new String(ss.getBytes("ISO-8859-1"),"utf-8");
                        
break;    
                        }

                }

                
/**
                 * 開啟爬蟲線程抓取和“***”有關的語句
                 
*/

                scraber    buger
=new scraber(ss,uu);
                
                exec.execute(buger);
                
/**
                 * 提取超鏈接
                 
*/

                check(ss,tempList);
                
            }

            
/**
             * 對臨時超鏈接隊列進行處理
             
*/

            Iterator
<String> it=tempList.iterator();
            
/**
             * 提取出臨時超鏈接隊列中的每一個鏈接
             
*/

            
while(it.hasNext())
            
{
                
                String ref 
= (String)it.next();
                
/**
                 * 啟動一個機器人線程,處理該超鏈接
                 
*/

                irobot ir
=new irobot(ref);
                Thread robThread
= new Thread(ir);
                robThread.start();
                
            }

            
/**
             * 清空臨時隊列
             
*/

            tempList.clear();
            
/**
             * 關閉線程池
             
*/

            exec.shutdown();
        }

        
catch(IOException e)
        
{
            
/**
             * 無法連接
             *
            
*/

        }

        
                                                                                            
    }

    
/**
     * 從該行中提取出超鏈接
     * 
@param s 該行字符串
     * 
@param tempList    臨時超鏈接隊列
     * 
     
*/

    
void check(String s,ArrayList<String> tempList)
    
{
        
int i=s.indexOf("href=\"");
        if(i>0)
        
{
            String news
=s.substring(i+6);
            
int j1= news.indexOf("\"");            
            if(j1>0)
            
{
                
                String ref 
= news.substring(0,j1);
                tempList.add(ref);
            }

    
        }


    }


    
public static void main(String args[])throws IOException
    
{    
        
        MySearch t
= new MySearch();
        System.out.println(
"%searching start%");
        t.go(
"http://www.shnenglu.com/"); 
    }



    
void go(String uu)
    
{
        
try{
            writeFile
= new FileWriter(store);
            checkURL(uu);
            writeFile.close();
        }
catch(IOException e)
        
{
            
        }

    
    }

}

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲视频一起| 一本久久综合亚洲鲁鲁| 亚洲大片在线观看| 亚洲资源av| 亚洲经典三级| 久久国产精品网站| 99国产一区| 免费亚洲视频| 在线观看一区欧美| 91久久久久久久久| 国产精品xxxav免费视频| 亚洲国产精品激情在线观看| 性视频1819p久久| 9l国产精品久久久久麻豆| 国产精品―色哟哟| 亚洲欧美日韩直播| 一区二区高清| 国产精品婷婷午夜在线观看| 麻豆精品视频在线| 另类酷文…触手系列精品集v1小说| 国产一区二区三区四区三区四| 久久精品国产精品亚洲精品| 另类亚洲自拍| 精品粉嫩aⅴ一区二区三区四区| 久久国产精品72免费观看| 亚洲午夜一区二区| 国产农村妇女精品一二区| 亚洲欧美清纯在线制服| 久久这里只精品最新地址| 在线一区视频| 亚洲一区二区综合| 国产日本亚洲高清| 亚洲精品视频免费| 欧美黄色日本| 999在线观看精品免费不卡网站| 亚洲国产一区二区精品专区| 欧美aa国产视频| 亚洲欧美久久久| 欧美电影在线观看完整版| 亚洲激情六月丁香| 日韩亚洲视频| 国产欧美亚洲一区| 99精品99| 亚洲国产网站| 久久―日本道色综合久久| 亚洲精品一区在线观看香蕉| 一本色道久久综合| 亚洲精品免费观看| 亚洲一区二区av电影| 日韩午夜激情| 久久只精品国产| 久久国产精品一区二区三区四区| 欧美日韩精品三区| 亚洲一区3d动漫同人无遮挡| 免费观看久久久4p| 欧美国产日韩精品| 免费人成精品欧美精品| 国产一区二区三区四区老人| 亚洲欧洲av一区二区| 欧美精品1区2区| 在线观看精品一区| 欧美中文字幕在线播放| 欧美日韩中文| 国产精品99久久久久久白浆小说| 欧美/亚洲一区| 亚洲激情校园春色| 亚洲国产三级在线| 久久久之久亚州精品露出| 国产午夜精品一区理论片飘花| 亚洲成色777777女色窝| 欧美日韩日本国产亚洲在线| 巨乳诱惑日韩免费av| 国产亚洲在线观看| 久久免费视频网| 亚洲风情在线资源站| 精品91免费| 蜜臀av一级做a爰片久久| 91久久久久久| 午夜精品久久| 欧美午夜一区二区三区免费大片 | 国产精品午夜在线| 翔田千里一区二区| 亚洲淫性视频| 国产一区二区三区的电影| 久久九九国产精品| 久久久之久亚州精品露出| 国产精品久久久久久久久久久久久久 | 亚洲在线日韩| 国产一区99| 欧美人妖在线观看| 欧美福利一区| 亚洲福利视频二区| 欧美日韩精品二区| 午夜精品久久久久久久久久久久久| 久久婷婷影院| 国产一区二区三区四区老人| 欧美成人精品一区二区| 国产精品99久久久久久久久久久久| 亚洲精品视频免费| 国产精品久久一卡二卡| 中日韩美女免费视频网址在线观看| 中国成人亚色综合网站| 精品91久久久久| 国产精品美女999| 免费欧美在线视频| 亚洲欧美日韩精品一区二区 | 亚洲国产精品久久久| 羞羞视频在线观看欧美| 亚洲人成绝费网站色www| 蜜桃久久av一区| 亚洲欧美国产日韩天堂区| 久久国产精品久久久| 一本色道久久综合| 亚洲国产成人av| 国产欧美激情| 国产精品国产精品| 欧美精品一区二区精品网| 欧美在线网站| 最新国产成人av网站网址麻豆| 久久国产精品电影| 亚洲一区二区不卡免费| 日韩亚洲国产欧美| 亚洲韩国日本中文字幕| 国产在线国偷精品产拍免费yy| 久久久久久免费| 亚洲欧美日韩成人高清在线一区| 一区二区高清在线观看| 亚洲精品国产品国语在线app| 亚洲欧美日韩成人高清在线一区| 日韩视频一区二区在线观看| 一区二区在线视频| 国产一区二区精品久久| 国产精品一区二区三区四区五区 | 欧美精品v国产精品v日韩精品| 欧美一区二区三区四区在线观看| 欧美成人午夜激情在线| 久久天天躁夜夜躁狠狠躁2022| 欧美一区二区成人| 亚洲精品视频一区| 亚洲经典三级| 亚洲高清视频一区二区| 狠狠色伊人亚洲综合网站色| 欧美日本不卡| 国产精品vvv| 国产精品sss| 国产乱肥老妇国产一区二| 国产精品香蕉在线观看| 国产午夜精品久久久| 国内精品视频久久| 伊人成人网在线看| 亚洲精品一二三| 亚洲视频在线看| 欧美一区三区三区高中清蜜桃| 久久国产主播精品| 麻豆av一区二区三区久久| 欧美国产日韩一区| 久久夜精品va视频免费观看| 久久久久久一区二区三区| 欧美69wwwcom| 久久视频精品在线| 欧美二区不卡| 亚洲精品网站在线播放gif| 亚洲一区久久久| 久久久久久久一区| 欧美日韩系列| 国内成+人亚洲| 亚洲精品久久久蜜桃| 亚洲欧美一区在线| 欧美成人激情视频| 日韩一区二区精品| 欧美一区午夜精品| 欧美久久在线| 经典三级久久| 亚洲午夜久久久久久尤物| 久久精精品视频| 亚洲国产精品女人久久久| 亚洲欧美国产精品桃花| 另类成人小视频在线| 欧美体内she精视频| 亚洲电影专区| 亚洲欧美国产精品专区久久| 免费看的黄色欧美网站| 一二三四社区欧美黄| 老司机午夜免费精品视频| 国产精品高清网站| 91久久久久| 久久精品人人做人人综合| 亚洲精品免费电影| 久久久水蜜桃av免费网站| 国产精品theporn| 亚洲三级免费| 麻豆91精品| 欧美在线观看天堂一区二区三区| 欧美视频不卡中文| 亚洲国产三级| 欧美freesex交免费视频| 午夜精品久久久久| 欧美亚洲第一区| 日韩午夜免费视频| 亚洲第一福利社区|