无线&移动互联网技术研发

换位思考·····
posts - 19, comments - 53, trackbacks - 0, articles - 283
  BlogJava :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

网络爬虫原理

Posted on 2010-02-02 22:29 Gavin.lee 阅读(464) 评论(0)  编辑  收藏 所属分类: 经验&常识
搜索引擎使用网络爬虫寻找网络内容,网络上的HTML文档使用超链接连接了起来,就像织成了一张网,网络爬虫也叫网络蜘蛛,顺着这张网爬行,每到一个网页就用抓取程序将这个网页抓下来,将内容抽取出来,同时抽取超链接,作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬,这个起点叫做种子,你可以告诉它,也可以到一些网址列表网站上获取
网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的解决方案,里面有定题网络爬虫,也叫聚焦网络爬虫,这种爬虫抓取下来一个页面后并不抽取所有的超链接,而是只找主题相关的链接,笼统的说就是爬行的范围是受控的。网络爬虫实现代码主要集中在MetaSeeker工具包中的DataScraper工具。可以从 gooseeker网站下载下来看 

只有注册用户登录后才能发表评论。


网站导航: