hwswl

 

应用已有的开源搜索引警(Nutch应用)

   Nutch作为一款刚刚诞生的开元web搜索引警,提供了除商业搜索引警外的一种新的选择。个人,企业都可以通过Nutch来构建适合于自己的搜索引警平台,提供适合自己的搜索服务,而不必完全被动的接受商业搜索引警的各种制约。
   Nutch的工作流程可以分为两个大的部分:抓取部分和搜索部分。抓取程序抓取页面并把抓取回来的数据进行反向索引,搜索程序则对反向索引进行搜索回答用户的请求,索引是联系这两者的纽带。
   首先要建立一个空的url数据库,并且把起始根urls添加到url数据库中(步骤一),依据url数据库在新创建的segment中生成fetchlist,存放了待爬行的urls(步骤二),根据fetchlist从Internet进行相关网页内容的爬行抓取与下载(步骤三),随后把这些抓取到的内容解析成文本与数据库(步骤四),从中提取出新的网页连接url,并对url数据库进行更新(步骤五),重复步骤一到五直到达到被指定的爬行抓取深度。以上构成了Nutch的整个抓取过程,可以用一个循环来对其进行描述:生成-抓取-更新-循环。
   当抓取过程完成后,对抓取到的网页进行反向索引,对重复的内容与url进行剔除,然后对多个索引进行合并,为搜索建立统一的索引库,而后用户可以通过由tomcat容器提供的Nutch用户界面提交搜索请求,然后由Lucene对索引库进行查询,并返回搜索结果给用户,完成整个搜索过程。
   Nutch程序采用Java编写,其运行环境需要一个Tomcat容器。本文运行环境以j2sdk1.4.2-12及tomcat-5.0.28为例。
   试用Nutch进行数据抓取。
   Nutch通过运行网络爬虫工具进行网络内容的抓取,它提供了爬行企业内部网与整个互联网两种方式。

   先说爬行企业内部网
   爬行企业内部网适合于针对一小撮web服务器,并且网页数在百万以内的情况。它使用crawl命令进行网络爬行抓取,在进行爬行前,需要对Nutch进行一系列的配置,过程如下:
   首先需要建立一个目录,并且在此目录中创建包含起始根urls的文件。我们以爬行sohu网站为例来讲述。
   #cd  /usr/local/nutch
   #mkdir  urls
   #touch urls/sohu
   因此文件urls/sohu的内容为:http://www.sohu.com/。依据爬行网站的实际情况,可以继续在此文件末尾添加其它url或者在url目录里添加其它包含url的文件。需要注意的是Nutch7.0的版本中不需要创建目录,直接创建包含起始根url的文件即可。
   接下来,要在config/crawl-urlfilter.txt文件,将中文MY.DOMAIN.NAME部分提环为准爬行的域名,并去掉前面的注释。因此在本文中进行域名替换后的形式为:
   +^http://([a-z0-9]*\.)*sohu.com/
   文件config/crawl-urlfilter.txt主要用于限定爬行的url形式,其中url的形式使用正则表达式进行描述。
   然后,编辑文件conf/nutch-site.xml,并且包含以下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>http:.agent.name</name>
<value>sohu.com</value>
<description>sohu.com</description>
</property>
</configuration>
   除http.agent.name外,在<configuration></configuration>间还包括http.agent.description,http.agent.url,http.agent.email这三项。
   最后开始爬行抓取。完成对Nutch的配置后,运行crawl命令进行爬行。在本文中爬行脚本为:
#bin/nutch crawl urls -dir sohu -depth 5 -topN 1000
另外,crawl还有一个参数项:threads,他设定并行爬行的进程数。在爬行过程中,可以通过Nutch日志文件查看爬行的进展状态,爬行完成后结果存放在sohu目录里。
至此内部网的过程就完成了,爬行整个互联网将在下篇文章中讲解。

posted on 2007-03-16 10:24 hwswl 阅读(676) 评论(3)  编辑  收藏

评论

# 手表超低价批零兼营,更多1折货品,清仓特价货品等着你 2007-05-22 17:10 传奇时尚名品

100%信誉淘宝卖家,手表特低价销售,欢迎登录淘宝店铺【传奇时尚名品】店址~http://shop34134648.taobao.com,我们专营各式首饰时装手表、名牌手表、学生儿童手表、运动休闲手表、商务手表。。。。。欢迎批发零售!
★六.一儿童节不忘了给小朋友礼物喔~~迪士尼3D(立体)手工贴画卡通儿童手表全场一折,并买四送一,限量100只;
★老顾客答谢~老顾客凡购清仓特价名品牌手表再折扣10%,并且买十送一及赠送快递包邮;
★新顾客光临~累积购满80元送积分印花一枚,印花可累积免费换礼品,礼品明细参见促销区和有“积分”字样的宝贝。  回复  更多评论   

# 20集电视剧《小雪》剧组急招演员 2007-07-09 10:57 田霞

20集电视剧《小雪》剧组急招演员
现代剧《小雪》主角三男三女,剧中表现创业劢志主题以及讲述韩国式的千折百回荡气回肠真挚纯情感人的青春爱情故事
现招16岁至25岁女演员8名
18岁至45岁男演员10名
6岁、12岁、15岁小女演员三名
演员报名邮箱:whdtys90@126.com (如通过网上面试,两天内回复,请查收)
剧组电话:027-63711305(田主任) 027-83935473
网址:http://whdtys.blog.sohu.com
剧组地址:武汉汉口万松园路139号(湖北电影制片厂办公楼一楼大田影视)
  回复  更多评论   

# 武汉宣传片、电视广告片、幻灯片拍摄制作——武汉大田影视 13995689448 027-62377005 2008-02-28 12:54 田霞

武汉宣传片、电视广告片、幻灯片拍摄制作——武汉大田影视 13995689448 027-62377005
武汉大田影视文化传播有限公司注册三百万资金、并有国家广电总局核发的《影视制作发行经营许可证》的专业影视制作公司。公司自有专业设备:四套SONY专业高清摄像机、四套配套高清2000G非线性编辑器、专业拍摄摇臂、23米大型高档拍摄轨道、专业拍摄灯光、广播级的配音老师配音。高质量的拍摄制作,让你的宣传得到满意的收益。网址:http://www.whdtys.com
武汉宣传片、武汉广告片、武汉专题片、电视广告片、影视广告、电影胶片广告、武汉纪录片、武汉汇报片、武汉教育片、酒店宣传片、餐饮宣传片、医疗广告、汽车广告、房地产广告、企业形象宣传片、企事业专题片、专业幻灯片制作、产品演示片、展会宣传片、多媒体制作、电视频道栏目包装、DVD制作、VCD制作、实拍动态MTV制作。专业广告创意、广告设计、广告策划、广告脚本、广播级配音、专业数字高清摄像机拍摄、专业配套数字后期非编编辑、片头三维制作、LOGO三维制作、专业的团队为您一条龙服务。曾为中国石化、东风设计院、神龙汽车公司、东江汽车、湖北恒信德龙汽车、中国移动、中国移通工程、三七药业集团、武汉部队、雀巢集团、武汉污水工程、武汉大学、科恒工控、王汉五讲座、鹿春园、汉阳物价局、珠宝业、白酒业、医药业、QQ幻想游戏等公司制作。为客户制作出优良的视频作品,赢得了良好的口碑和赞誉。公司坚持“以市场为导向,以客户为中心”的服务理念,提供高水准的服务。从客户需求出发,不断完善服务流程,深化客户服务,提高质量,同时也为品牌搭建强势传播平台。承接批量刻录光盘:印刷(光盘打印,丝网印刷,胶印,压膜)我们专业提供各式光盘(VCD碟、DVD碟),各式光盘包装盒及塑封服务。
武汉大田影视文化传播有限公司
电话:13995689448、027-62377005(业务部田霞)
传真:027-83935473
网址:http://www.whdtys.com
视频网:http://hexun.com/whdtys
办公室地址:武汉汉口万松园路139号(湖北电影制片厂)
后期工作室:武汉汉口常青花园12小区新康苑18-2-402室(武汉大田影视)
  回复  更多评论   


只有注册用户登录后才能发表评论。


网站导航:
 

导航

统计

留言簿

我参与的团队

文章档案

搜索

最新评论