氟塑料离心泵www.buybeng.com

jquery教程http://www.software8.co/wzjs/jquery/

java爬取网页源代码,解析

1.搜索词的地址采用模拟地址方法(通过分析搜索引擎的参数得到,如百度),然后将搜索词加到模拟的地址中。
2.函数的输入参数是模拟地址。
String query = URLEncoder.encode("潘柱廷", "UTF-8");
String url="http://www.baidu.com/s?wd="+query+"&pn="+p*10+"&tn=baiduhome_pg&ie=utf-8"
public void MakeQuery(String domain) {
  try {
   HttpClient httpClient = new HttpClient();
   GetMethod getMethod = new GetMethod(domain);
   
   //System.out.println("*************************************************************");
   //System.out.println(getMethod);
   try{
    httpClient.executeMethod(getMethod);
    }catch(Exception e){
     System.out.println("网络问题");
    }
   getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
     new DefaultHttpMethodRetryHandler());
   int statusCode = httpClient.executeMethod(getMethod);
   if (statusCode != HttpStatus.SC_OK) {
    System.err.println("Method failed: "
      + getMethod.getStatusLine());
   }
   
   byte[] responseBody = getMethod.getResponseBody();
   
   //System.out.println("*************************************************************");
   //System.out.println(responseBody);
   
   
   String response = new String(responseBody, "UTF-8");
   
   //System.out.println("*************************************************************");
   //System.out.println(response);
   
   //Jsoup解析html
   Document doc=Jsoup.parse(response);
   //System.out.println("*************************************************************");
   //System.out.println(doc);
  
   Elements contents=doc.getElementsByClass("f");
   for(Element content:contents){
 
   Element links = content.getElementsByTag("a").first();
     String linkHref = links.attr("href");//链接
     String linkText = links.text();//摘要
     FoursearchZH.map.put(linkHref, linkText);
     
     System.out.println("------------------");
     System.out.println(linkHref);
        System.out.println(linkText);
    }
  } catch (Exception e) {
   System.err.println("Something went wrong...");
   e.printStackTrace();
  }
  }
原文参考自站长网http://www.software8.co/wzjs/java/2692.html

posted on 2013-01-16 12:36 你爸是李刚 阅读(2135) 评论(0)  编辑  收藏


只有注册用户登录后才能发表评论。


网站导航:
 
<2013年1月>
303112345
6789101112
13141516171819
20212223242526
272829303112
3456789

导航

统计

常用链接

留言簿

随笔档案

文章档案

技术网站

行业网站

搜索

最新评论

阅读排行榜

评论排行榜

站长网 氟塑料离心泵 注塑机 液晶广告机