Posted on 2010-02-02 22:29
Gavin.lee 阅读(464)
评论(0) 编辑 收藏 所属分类:
经验&常识
搜索引擎使用网络爬虫寻找网络内容,网络上的HTML文档使用超链接连接了起来,就像织成了一张网,网络爬虫也叫网络蜘蛛,顺着这张网爬行,每到一个网页就用抓取程序将这个网页抓下来,将内容抽取出来,同时抽取超链接,作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬,这个起点叫做种子,你可以告诉它,也可以到一些网址列表网站上获取
网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的解决方案,里面有定题网络爬虫,也叫聚焦网络爬虫,这种爬虫抓取下来一个页面后并不抽取所有的超链接,而是只找主题相关的链接,笼统的说就是爬行的范围是受控的。网络爬虫实现代码主要集中在MetaSeeker工具包中的DataScraper工具。可以从 gooseeker网站下载下来看