再来1号问题：爬虫的工作过程

来个图：

动作分解：
<传言看源代码理解的更细致，不过偶没看，偶是根据文档和下午的操作总结的，错了请指正。>

1.创建空数据库Webdb：

2.向Webdb中注入入口攫取地址：

3.根据Webdb中数据生成fetchlist，并生成相应的segment。

4.根据fetchlist攫取内容（fetched content）。

5.根据获取内容更新Webdb

6.重复执行3-5.这个过程52se称为“产生/抓取/更新”循环。

7.完成上面的循环后，根据Webdb中信息，如网页评分和链接信息等，再次更新segment.

8.索引被攫取的页面，生成链接。

9.去除indexes中重复的内容和链接。

10.依靠indexes合成单一的index文件。大功告成。

上面这些步骤都可以对应到Nutch给我们提供的CrawlTool中的命令上。

爬虫忙完了，有了数据，我们就可以利用Nutch的search部分功能来查找内容了。

参考：Nutch爬虫工作流程及文件格式详细分析

Introduction to Nutch, Part 1: Crawling