近来一直想用Nutch建立一个校内的资源搜索引擎,却没想到有中文分词引发出来一大堆问题。在此做个记录。
1. Cygwin下,Nutch0.8.1启动Crawl的时候找java.exe出错,路径错误找不到。解决方法是修改bin/nutch文件,78行的 JAVA=$Nutch_JAVA_HOME/bin/java ,去掉前面的$Nutch_JAVA_HOME,修改为JAVA=java。条件是系统中环境变量PATH中包含了jdk/bin。
2. 0.7版本的Nutch拿回来设置urls规则和起始URL后可以直接使用bin/nutch crawl......来启动,但0.8.1版本这样启动会发现fetch起始URL的时候会出现Null指针错误。原因是conf/nutch-default.xml中的http.agent.name配置属性为空。而其说明中要求不为空。在value节点下随便写入一个值,例如test/unique。然后再启动Nutch,OK.