随笔-26  评论-111  文章-19  trackbacks-0
自己用java做的一个类似网页爬虫的东西



能实现整个网站的抓取,暂时还不支持javascript形式的连接

能抓取网页,网页中的所有的URL重新生成,图片,文件，包括所有格式的文件,全部都能保持原有的路径结构

抓取下的网页,通过apache搭建成网站,能在本地保持成一个完整的网站的形式

能直接使用，也能支持二次开发使用，不过暂时还会存在比较多的不完善的地方.

提供内置线程,能控制抓取操作执行的时间,循环执行

东西还不是很完善,欢迎大家提出意见

下载地址  http://www.blogjava.net/Files/snoics/snoics-reptile.rar

posted on 2006-02-10 09:20 snoics 阅读(2979) 评论(11)  编辑  收藏

评论:
# re: 自己用java做的一个类似网页爬虫的东西 2006-02-12 12:20 | barry
很感兴趣。
关注二次开发的问题。
  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-02-15 14:26 | hike
支持!
  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-02-18 20:45 | 小雨姐姐
恩，不错！虽然我不懂．．．．．．．．．．  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-03-03 10:42 | minggo
很感兴趣！  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-08-03 16:05 | cyp
你这个怎么用呀！怎么没 有一个demo  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-08-22 17:11 | tiantian
C:\snoics\bin>java -classpath ../lib/reptile.jar;../lib/snoics.jar;../lib/log4j-
1.2.9.jar;../lib/commons-logging.jar;../lib/spring.jar; com.snoics.reptile.main.
NormalMain
Exception in thread "main" java.lang.NoClassDefFoundError: com/snoics/reptile/ma
in/NormalMain

出现以下错误信息,请问是哪里的问题?
xp_ma2000@sohu.com  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-08-24 17:08 | shiwei
bat文件里面的一个jar文件名错了，修改一下就行  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2006-10-29 16:18 | 冷面阎罗
有没有设计文档等，我想研究一下你的这个代码。不知道可以不
我的msn:soddabao@163.com  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2007-07-12 21:26 | 杨铸
这个怎么下不下来啊 ，即使下载了，也是一个损坏的文件啊，急！  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2008-06-19 16:20 | 外星飞碟
支持一下，  回复  更多评论
  
# re: 自己用java做的一个类似网页爬虫的东西 2008-07-08 09:20 | 老匡
挺不错。
有没有源码提供啊。
学习一下。
kqy929@126.com
谢谢了~~  回复  更多评论
  

只有注册用户登录后才能发表评论。
网站导航:
 
Powered by: 博客园 模板提供：沪江博客 Copyright ©2024 snoics