coolfiry

虞美人 李煜

雨霖铃 ·柳永

寒蝉凄切。对长亭晚，骤雨初歇。都门帐饮无绪，留恋处、兰舟催发。执手相看泪眼，竟无语凝噎。念去去、千里烟波，暮霭沉沉楚天阔。
多情自古伤离别，更那堪冷落清秋节！今宵酒醒何处？杨柳岸、晓风残月。此去经年，应是良辰好景虚设。便纵有千种风情，更与何人说？

1、python的入门级内容。
2、java mail的使用基本用法和注意事项。
3、CXF中相关BUG的解决方法。
4、UNIX 网络编程步步提升系列。

转自:http://bbs.chinaunix.net/viewthread.php?tid=691982&extra=&page=1
snoop 抓包
solaris自带snoop抓包工具,抓所有数据流

# snoop
Using device /dev/pcn0 (promiscuous mode)
192.168.8.18 -> 192.168.255.255 NBT NS Query Request for WORKGROUP[1c], Success
192.168.253.35 -> solaris      TELNET C port=1246
     solaris -> 192.168.253.35 TELNET R port=1246 Using device /dev/pc
     solaris -> 192.168.253.35 TELNET R port=1246 Using device /dev/pc
192.168.4.150 -> (broadcast)  ARP C Who is 192.168.4.200, 192.168.4.200 ?
192.168.4.200 -> (broadcast)  ARP C Who is 192.168.4.150, 192.168.4.150 ?
#

抓源地址或目的为 202.101.98.55的数据流：

# snoop 202.101.98.55
Using device /dev/pcn0 (promiscuous mode)
192.168.253.35 -> dns.fz.fj.cn DNS C www.163.com. Internet Addr ?
dns.fz.fj.cn -> 192.168.253.35 DNS R www.163.com. Internet CNAME www.cache.split.netease.com.

#

说明：internet cname 后的为解析www.163.com的名字时，代表www.163.com回答的主机的域名。

抓 192.168.253.35和202.101.98.55之间的数据流（双向都抓）

# snoop 192.168.253.35 202.101.98.55
Using device /dev/pcn0 (promiscuous mode)
192.168.253.35 -> dns.fz.fj.cn DNS C www.google.com. Internet Addr ?
dns.fz.fj.cn -> 192.168.253.35 DNS R www.google.com. Internet CNAME www.l.google.com.
#

抓完存在当前目录下的cap文件中并查看

# snoop -o cap1 -P      -P表示处在非混杂模式抓数据，只抓广播、主播、目的为本机的数据
Using device /dev/pcn0 (non promiscuous)
15 ^C                           15的含义是：显示目前抓了多少个数据流
#

# snoop -i cap1
  1   0.00000 192.168.253.35 -> solaris      TELNET C port=1246
  2   0.18198 192.168.253.35 -> solaris      TELNET C port=1246
  3   0.37232 192.168.4.199 -> 192.168.255.255 NBT Datagram Service Type=17 Source=WB-200[20]
  4   0.00016            ? -> (multicast)  ETHER Type=EF08 (Unknown), size = 180bytes
  5   0.62546 192.168.253.35 -> solaris      TELNET C port=1246
  6   0.13822            ? -> (multicast)  ETHER Type=0000 (LLC/802.3), size = 52 bytes
  7   0.06283 192.168.253.35 -> solaris      TELNET C port=1246
  8   0.90301 192.168.253.35 -> solaris      TELNET C port=1246
  9   0.19781 192.168.253.35 -> solaris      TELNET C port=1246
10   0.81493            ? -> (multicast)  ETHER Type=0000 (LLC/802.3), size = 52 bytes
11   0.07018 192.168.253.35 -> solaris      TELNET C port=1246
12   0.19939 192.168.253.35 -> solaris      TELNET C port=1246
13   0.90151 192.168.253.35 -> solaris      TELNET C port=1246
14   0.18904 192.168.253.35 -> solaris      TELNET C port=1246
15   0.68422            ? -> (multicast)  ETHER Type=0000 (LLC/802.3), size = 52 bytes
#snoop -i cap1 -p 10,12            只看10-12条记录

#snoop -i cap1 -p10                  只看第10条记录

# snoop -i cap1 -v -p101            查看第10条数据流的包头的详细内容

#snoop -i cap1 -v -x 0 -p101   查看第10条数据流的全部的详细内容

抓主机192.168.253.35和202.101.98.55之间的tcp或者udp端口53的数据

# snoop 192.168.253.35 and 202.101.98.55 and \(tcp or udp\) and port 53

输入（的时候要加转义符号\


snoop的详细参数
Snoop 是Solaris 系统中自带的工具， 是一个用于显示网络通讯的程序， 它可捕获IP 包并将其显示或保存到指定文件. (限超级用户使用snoop)
Snoop 可将捕获的包以一行的形式加以总结或用多行加以详细的描述(有调用不同的参数–v -V来实现). 在总结方式下(-V ) , 将仅显示最高层的相关协议, 例如一个NFS 包将仅显示NFS 信息, 其低层的RPC, UDP, IP, Ethernet 帧信息将不会显示, 但是当加上相应的参数(-v ), 这些信息都能被显示出来.

-C

-D

-N

-P 在非混杂模式下抓包

-S 抓包的时候显示数据包的大小

-V 半详细的显示抓的数据的信息

-t [ r | a | d ] 显示时间戳，-ta显示当前系统时间，精确到毫秒

-v 最详细的显示数据的信息

-x offset [ , length] 以16进制或ACSII方式显示某数据的部分内容，比如 -x 0,10 只显示0-10字节

#snoop -i cap1 -v -x 0 -p101 查看被抓获的第101个数据流的全部内容


表达式：

根据地址：

#snoop x.x.x.x         IPV4的IP

#snoop 0XX:XX:XX:XX    ETHERNET的MAC地址

数据的方向：

from x.x.x.x 或者 src x.x.x.x

to x.x.x.x 或者 dst x.x.x.x

可用的数据类型的关键词：

ip, ip6, arp, rarp, pppoed, pppoes，pppoe，broadcast，multicast，apple，decnet

udp, tcp, icmp, icmp6, ah, esp

greater length
      True if the packet is longer than length.

less length
      True if the packet is shorter than length.

net net

# snoop from net 192.168.1.0 抓来自192.168.1.0/24的数据

# snoop from net 192.168.0.0 抓来自192.168.0.0/16的数据

port xx XX为TCP或者UDP的端口号或者 /etc/services里定义的名字

#snoop to udp and port 53    抓到UDP53的数据

在项目使用CXF的过程中,遇到了有关List作为传输参数的时候,如果WebService端没有明确给出List的泛型类型会报错。
例如
CXF的WebService端口接口的一个方法为为：

客户端的的调用为：


在客户端进行调用WebService时会发生错误，错误为：unexpected element (uri:"", local:"arg0")等，据分析生成的wsdl，这是因为CXF在进行数据marshal时不知道要将要转换的类型。

解决办法是:在WebService端的接口必须用List的泛型类型参数，如：


这样就完全解决问题了。

现在正在学习linux shell编程
first.sh
这是第一个shell程序小例子，就相当于一个学习其他语言的hello world了吧。用法first.sh test，将test文件中的每一行输出到stdout中。

second.sh
这是第二个shell程序小例子，作用是输出0到99的数字到stdout中。其中用到的expr的作用是使expr的参数转化为数字并相加。两个单引号的作用是引号所包围的命令被命令的标准输出替换，并输出赋值给我number，得到了如同java中number=number+1的效果。

在项目开发过程中，遇到在本机和windows环境中部署用CXF框架开发的的webService没有任何问题，但是当将工程部署到solaris 的SUN ONE application上时，再用本机的cxf Web服务客户端访问对应的web服务时，如果传输的数据量小于大约4K不会出问题，否则则会报一些数据绑定的异常如：
Marshalling Error: Error writing request body to server。
解决这个问题花了我足足两天时间，原因是有关CXF的资料太少了，而且有关于这个错误的解决都必须使用google才能search到，用baidu完全search不到相关的资料。
解决方案：
在客户端的class-path中加上cxf.xml。cxf.xml的配置如下：
这个问题的解决方案是我在cxf的官网上找了很久才找到的，虽然问题解决了，但是我感到很迷惑。主要在windows tomcat环境下没有问题，而到了SUN ONE的环境就有问题，经过的思考和找了一资料，我认为问题出于solaris对于HTTP数据传输的某些限制，如果真要去搞清楚的话可能要去参看cxf的source code了，但是我不想花这个时间去研究这个问题了。

我把这个解决方案写出来，希望可以帮助到使用CXF的网友，也希望高手们能帮我解决我的迷惑。

在Java版发表这篇文章，似乎有点把矛头指向Java了。其实不是，GC是所有新一代语言共有的特征，
Python, Eiffel，C#，Roby等无一例外地都使用了GC机制。但既然Java中的GC最为著名，所以天塌
下来自然应该抗着。

这篇短文源于comp.lang.java.programmer跟comp.lang.c++上发生的一场大辩论，支持C++和Java
的两派不同势力展开了新世纪第一场冲突，跟贴发言超过350，两派都有名角压阵。C++阵营的擂主是
Pete Becker，ACM会员，Dinkumware Ltd. 的技术副总监。此君精通C++和Java，开发过两种语言的
核心类库，但是却对C++狂热之极，而对于Java颇不以为然。平时谈到Java的时候还好，一旦有人胆
敢用Java来批判C++，立刻忍不住火爆脾气跳将出来，以坚韧不拔的毅力和大无畏精神与对手周旋，
舌战群儒，哪怕只剩下一个人也要血战到底。这等奇人当真少见！我真奇怪他整天泡在usenet上，
不用工作么？他的老板P.J. Plauger如此宽宏大量？Java阵营主角是一个网名Razzi的兄弟，另外有
Sun公司大名鼎鼎的Peter van der Linden助阵，妙语连珠，寸土必争，加上人多势众，一度占据优势。
C++阵营里大拿虽然很多，但是大多数没有Pete那么多闲工夫，例如Greg Comeau，Comeau公司老板，
每次来个只言片语，实在帮不了Pete多大忙。但是自从C++阵营中冒出一个无名小子，网名Courage(勇气)，
发动对Java GC机制的批判，形势为之一变。C++阵营眼下处于全攻之势，Java阵营疲于防守，只能
招架说：“你们没有证据，没有统计资料”，形势很被动。

垃圾收集(GC)不是一直被Java fans用来炫耀，引以为傲的优点么？怎么成了弱点了？我大惑不解，定睛
一看，才觉得此中颇有道理。

首先，Java Swing库存在大量资源泄漏问题，这一点SUN非常清楚，称之为bugs，正在极力修正。但是看来
这里的问题恐怕不仅是库编写者的疏忽，可能根源在于深层的机制，未必能够轻易解决，搞不好要伤筋动骨。
不过这个问题不是那么根本，C++阵营觉得如果抓住对方的弱点攻击，就算是占了上风也没什么说服力。谁
没有缺点呢？于是反其道而行之，猛烈攻击Java阵营觉得最得意的东西，Java的GC机制本身。

首先来想一想，memory leak到底意味着什么。在C++中，new出来的对象没有delete，这就导致了memory
leak。但是C++早就有了克服这一问题的办法——smart pointer。通过使用标准库里设计精致的auto_ptr
以及各种STL容器，还有例如boost库(差不多是个准标准库了)中的四个smart pointers，C++程序员只要
花上一个星期的时间学习最新的资料，就可以拍着胸脯说：“我写的程序没有memory leak!”。

相比之下，Java似乎更优秀，因为从一开始你就不用考虑什么特殊的机制，大胆地往前new，自有GC替你
收拾残局。Java的GC实际上是JVM中的一个独立线程，采用不同的算法策略来收集heap中那些不再有
reference指向的垃圾对象所占用的内存。但是，通常情况下，GC线程的优先级比较低，只有在当前程序
空闲的时候才会被调度，收集垃圾。当然，如果JVM感到内存紧张了，JVM会主动调用GC来收集垃圾，获取
更多的内存。请注意，Java的GC工作的时机是：1. 当前程序不忙，有空闲时间。2. 空闲内存不足。
现在我们考虑一种常见的情况，程序在紧张运行之中，没哟空闲时间给GC来运行，同时机器内存很大，
JVM也没有感到内存不足，结果是什么？对了，GC形同虚设，得不到调用。于是，内存被不断吞噬，而那些
早已经用不着的垃圾对象仍在在宝贵的内存里睡大觉。例如：

class BadGc {

    public void job1() {
        String garbage = "I am a garbage, and just sleeping in your precious memory, " +
                  "how do you think you can deal with me? Daydreaming! HAHA!!!";
        ....
    }

    public void job2() {...}

    ...
    ...

    public void job1000() {...}

    public static void main(String[] args) {
        bgc = new BadGc();
 bgc.job1();
 bgc.job2();
 ...
 bgc.job1000();
    }
}

运行中，虽然garbage对象在离开job1()之后，就再也没有用了。但是因为程序忙，内存还够用，所以GC得
不到调度，garbage始终不会被回收，直到程序运行到bgc.job1000()时还躺在内存里嘲笑你。没辙吧！

好了，我承认这段程序很傻。但是你不要以为这只是理论上的假设，恰恰相反，大多数实用中的Java程序都有
类似的效应。这就是为什么Java程序狂耗内存，而且好像给它多少内存吃都不够。你花上大笔的银子把内存
从128升到256，再升到512，结果是，一旦执行复杂任务，内存还是被轻易填满，而且多出来的这些内存只是
用来装垃圾，GC还是不给面子地千呼万唤不出来。等到你的内存终于心力交瘁，GC才姗姗来迟，收拾残局。而
且GC工作的方式也很不好评价，一种方法是一旦有机会回收内存，就把所有的垃圾都回收。你可以想象，这要
花很长时间(几百M的垃圾啊！)，如果你这时侯正在压下开炮的按钮，GC却叫了暂定，好了，你等死吧！另一
种方法，得到机会之后，回收一些内存，让JVM感到内存不那么紧张时就收手。结果呢，内存里始终有大批垃
圾，程序始终在半死不活的荡着。最后，GC可以每隔一段时间就运行一次，每次只回收一部分垃圾，这是现在
大部分JVM的方式，结果是内存也浪费了，还动不动暂停几百毫秒。难啊！

反过来看看C++利用smart pointer达成的效果，一旦某对象不再被引用，系统刻不容缓，立刻回收内存。这
通常发生在关键任务完成后的清理(cleanup)时期，不会影响关键任务的实时性，同时，内存里所有的对象
都是有用的，绝对没有垃圾空占内存。怎么样？传统、朴素的C++是不是更胜一筹？

据统计，目前的Java程序运行期间占用的内存通常为对应C++程序的4-20倍。除了其它的原因，上面所说的是一个
非常主要的因素。我们对memory leak如此愤恨，不就是因为它导致大量的内存垃圾得不到清除吗？如果有了
GC之后，垃圾比以前还来势汹汹，那么GC又有什么好处呢？

当然，C++的smart pointer现在会使用的人不多，所以现在的C++程序普遍存在更严重的memory leak问题。
但是，如果我奶奶跟舒马赫比赛车输掉了，你能够埋怨那辆车子么？
http://www.594k.com/java/html/y2007m1/12051/

从LiveJournal后台发展看大规模网站性能优化方法

一、LiveJournal发展历程

LiveJournal是99年始于校园中的项目，几个人出于爱好做了这样一个应用，以实现以下功能：

• 博客，论坛
• 社会性网络，找到朋友
• 聚合，把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件，甚至它本身也是一个开源软件。

在上线后，LiveJournal实现了非常快速的增长：

• 2004年4月份：280万注册用户。
• 2005年4月份：680万注册用户。
• 2005年8月份：790万注册用户。
• 达到了每秒钟上千次的页面请求及处理。
• 使用了大量MySQL服务器。
• 使用了大量通用组件。

二、LiveJournal架构现状概况

三、从LiveJournal发展中学习

 

LiveJournal从1台服务器发展到100台服务器，这其中经历了无数的伤痛，但同时也摸索出了解决这些问题的方法，通过对LiveJournal的学习，可以让我们避免LJ曾经犯过的错误，并且从一开始就对系统进行良好的设计，以避免后期的痛苦。

下面我们一步一步看LJ发展的脚步。

 

UML类图的各种标识法
关键字:   UML    
·------>虚线箭头表示依赖关系（dependency），一个类需要与另外一个类一起工作，是它一种最弱的关联关系，常见于各种工具类之间的关系
·——实线表示联合关系（association），一个类包含对另外一个类对象的引用，这个通常是使用属性来实现的，为了表明之间的包含关系，有时候会在实线的一端加上箭头（navigability arrow）来表示导航关系，如果关联的双方又都和第三个类有关联关系，那么可以在实线的中间加一个虚线和第三个类关联来表示这种association classes关系
·◇——空心菱形加实线表示聚合关系（aggregation），它是一种更强的关联关系，表示一个类可以拥有或者享有一个类的实例对象，在java代码表现上跟联合是一样的。
·◆——实心菱形加实线表示组合关系（composition），它的关联性比聚合更强，被组合的对象是组合对象的一部分，没法跟其他的对象共享，而且如果组合对象销毁的话，被组合的对象也会同时被销毁，其表现形式跟联合一样
·空心箭头加实线，表示泛化generalization（继承inheritance）关系，这个很简单
·在rose中要建立enumeration，只需要在建立的class中将其stereotype设置为enumeration即可。stereotype只是用来做一个标记，并不包含别的意义

明天18号，要从沈阳回成都了

PO BO VO DTO POJO DAO概念及其作用（附转换图）

I love English from then on.I study English hard form then on.I love it.It is very lovely.

一、引言

　　随着Internet的飞速发展，人们越来越依靠网络来 查找他们所需要的信息，但是，由于网上的信息源多不胜数，也就是我们经常所说的"Rich Data, Poor Information"。所以如何有效的去发现我们所需要的信息，就成了一个很关键的问题。为了解决这个问题，搜索引擎就随之诞生。

　 　现在在网上的搜索引擎也已经有很多，比较著名的有AltaVista, Yahoo, InfoSeek, Metacrawler, SavvySearch等等。国内也建立了很多的搜索引擎，比如：搜狐、新浪、北极星等等,当然由于它们建立的时间不长，在信息搜索的取全率和取准率上都 有待于改进和提高。

　　Alta Vista是一个速度很快的搜索引擎，由于它强大的硬件配置，使它能够做及其复杂的查询。它主要是基于关键字进行查询，它漫游的领域有Web和 Usenet。支持布尔查询的"AND"，"OR"和"NOT"，同时还加上最相近定位"NEAR"，允许通配符和"向后"搜索（比如：你可以查找链接到 某一页的所有Web站点）。你可以决定是否对搜索的短语加上权值，在文档的什么部位去查找它们。能够进行短语查询而不是简单的单词查询的优点是很明显的， 比如，我们想要查找一个短语"to be or not to be"，如果只是把它们分解成单词的话，这些单词都是属于Stop Word，这样这个查询就不会有任何结果，但是把它当作一个整体来查询，就很容易返回一些结果，比如关于哈姆雷特或者是莎士比亚等等的信息。系统对查询结 果所得到的网页的打分是根据在网页中所包含的你的搜索短语的多少，它们在文档的什么位置以及搜索短语在文档内部之间的距离来决定的。同时可以把得到的搜索 结果翻译成其他的语言。

　　Exite是称为具有"智能"的搜索引擎，因为它建立了一个基于概念的索引。当然，它所谓的"智能"是基 于对概率统计的灵活应用。它能够同时进行基于概念和关键字的索引。它能够索引Web,Usenet和分类的广告。支持"AND"，"OR"，"NOT"等 布尔操作，同时也可以使用符号"+"和"-"。缺点是在返回的查询结果中没有指定网页的尺寸和格式。

　　InfoSeek是一个简单 但是功能强大的索引，它的一个优点是有一个面向主题搜索的可扩展的分类。你可以把你的搜索短语和相似的分类目录的主题短语相互参照，而那些主题短语会自动 加到你的查询中去。使你的搜索有更好的主题相关性。同时它也支持对图象的查询。它能够漫游Web,Usenet,Usenet FAQs等等。不支持布尔操作，但是可以使用符号"+"和"-"（相当于"AND"和"NOT"）

　　Yahoo实际上不能称为是一 个搜索引擎站点，但是它提供了一个分层的主题索引，使你能够从一个通常的主题进入到一个特定的主题，Yahoo对Web进行了有效的组织和分类。比如你想 要建立一个网页，但是你不知道如何操作，为了在Yahoo上找到关于建立网页的信息，你可以先在Yahoo上选择一个主题：计算机和Internet，然 后在这个主题下，你可以发现一些子主题，比如：Web网页制作，CGI编程，JAVA，HTML，网页设计等，选择一个和你要找的相关的子主题，最终你就 可以得到和该子主题相关的所有的网页的链接。也就是说，如果你对要查找的内容属于哪个主题十分清楚的话，通过目录查询的方法要比一般的使用搜索引擎有更好 的准确率。你可以搜索Yahoo的索引，但是事实上，你并没有在搜索整个Web。但是Yahoo提供了选项使你可以同时搜索其他的搜索引擎，比如： Alta Vista。但是要注意的是Yahoo实际上只是对Web的一小部分进行了分类和组织，而且它的实效性也不是很好。

　　搜索引擎的基本原理是通过网络机器人定期在web网页上爬行，然后发现新的网页，把它们取回来放到本地的数据库中，用户的查询请求可以通过查询本地的数据库来得到。如yahoo每天会找到大约500万个新的网页。

　 　搜索引擎的实现机制一般有两种，一种是通过手工方式对网页进行索引，比如yahoo的网页是通过手工分类的方式实现的，它的缺点是Web的覆盖率比较 低，同时不能保证最新的信息。查询匹配是通过用户写入的关键字和网页的描述和标题来进行匹配，而不是通过全文的匹配进行的。第二种是对网页进行自动的索 引，象AltaVista则是完全通过自动索引实现的。这种能实现自动的文档分类，实际上采用了信息提取的技术。但是在分类准确性上可能不如手工分类。

　　搜索引擎一般都有一个Robot定期的访问一些站点，来检查这些站点的变化，同时查找新的站点。一般站点有一个robot.txt文 件用来说明服务器不希望Robot访问的区域，Robot 都必须遵守这个规定。如果是自动索引的话，Robot在得到页面以后，需要对该页面根据其内容进行索引，根据它的关键字的情况把它归到某一类中。页面的信 息是通过元数据的形式保存的，典型的元数据包括标题、IP地址、一个该页面的简要的介绍，关键字或者是索引短语、文件的大小和最后的更新的日期。尽管元数 据有一定的标准，但是很多站点都采用自己的模板。文档提取机制和索引策略对Web搜索引擎的有效性有很大的关系。高级的搜索选项一般包括：布尔方法或者是 短语匹配和自然语言处理。一个查询所产生的结果按照提取机制被分成不同的等级提交给用户。最相关的放在最前面。每一个提取出来的文档的元数据被显示给用 户。同时包括该文档所在的URL地址。

　　另外有一些关于某一个主题的专门的引擎，它们只对某一个主题的内容进行搜索和处理，这样信息的取全率和精度相对就比较高。

　 　同时，有一类搜索引擎，它本身不用Robot去定期的采集网页。象SavvySearch 和 MetaCrawler是通过向多个搜索引擎同时发出询问并对结果进行综合返回给用户实现搜索功能。当然实际上象SavvySearch能够对各个搜索引 擎的功能进行分析和比较，根据不同的用户查询提交给不同的搜索引擎进行处理，当然用户自己也可以指定利用哪一个搜索引擎。

　　一个优秀的搜索引擎必须处理以下几个问题：1 网页的分类2 自然语言的处理3 搜索策略的调度和协作 4 面向特定用户的搜索。所以很多搜索引擎不同程度的使用了一些人工智能的技术来解决这些方面的问题。

　　二、网络Spider的实现描述

　 　现在有很多文章对Web引擎做了大量的介绍和分析，但是很少有对它们的实现做一个详细的描述，这里我们主要来介绍一个具有基本功能的Web引擎的实现。 本文，我们以类C++语言的形式来描述Web引擎如何采集网页并存放到数据库中的过程。同时描述了如何根据用户输入的关键字查询数据库并得到相关网页的过 程。

　　2.1数据库结构

　　首先，我们要建立一个数据库表用来存放我们得到的网页。这里一般需要建立如下的表：

　　1.字典表的建立，事实上这里是用文档中有意义的单词和它们的出现频率来代表一个文档。

　　该表（WordDictionaryTbl）主要要包括三个字段，主要是用来存放和一个网页相关的单词的情况

    url_id    对每一个URL的唯一的ID号
    word      该URL中的经过stem的单词
    intag    该单词在该网页中的出现的次数

　　2.存储每一个URL信息的表

　　该表(URLTbl)中主要的关键字段有：

  rec_id        每一条记录的唯一的ID号
  status    得到该URL内容的状态，比如HTTP_STATUS_TIMEOUT表示
            下载网页的最大允许超时
  url        URL的字符串名称
  content_type      内容的类型
  last_modified    最新的更改时间
  title            该URL的标题
  docsize          该URL的文件的尺寸
  last_index_time  最近一次索引的时间
  next_index_time  下一次索引的时间
  tag    对于网页，用来表示它的类型，比如：是text，或者是html，
                    或者是图片等等
  hops              得到文件时候的曾经失败的次数
  keywords          对于网页，和该网页相关的关键字
  description      对于网页，指网页的内容的描述
  lang              文档所使用的语言

　 　3.因为网页中有很多单词是一些介词和语气助词或者是非常常用的常用词，它们本身没有多少意义。比如：英语中的about,in,at,we,this 等等。中文中的如"和"，"一起"，"关于"等等。我们统一的把它们称为停止词（stop word）。所以我们要建立一个表，来包括所有这些停止词。该表(StopWordTbl)主要有两个字段。
word char(32)    表示那些停止词
lang char(2)      表示所使用的语言

　　4.我们要建立一个关于robot的表，我们在前面说过，所有的网站一般都有一个robot.txt文件用来表示网络上的robot可以访问的权限。该表(RobotTbl)主要有以下字段。
    hostinfo          Web站点主机的信息
    path              不允许robot访问的目录

　　5.建立我们需要屏蔽的那些网页(比如一些内容不健康的或者没有必要去搜索的站点)的一张表(ForbiddenWWWTbl)，主要的字段就是网页的URL。

　 　6.另外我们需要建立一个我们所要得到的文件类型的表(FileTypeTbl)，比如，对于一个简单的Web搜索引擎，我们可能只需要得到后缀为. html，htm，.shtml和txt的类型文件。其他的我们只是简单的忽略它们。主要的字段就是文件的类型和说明。

　　其中关于停止词的表的内容是我们要实现要根据各种语言的统计结果，把那些意义不大的单词放进去。关于文档单词、URL和Robot的表的内容都是在获取Web网页的时候动态增加记录的。

　　2.2 具体网页获取算法描述

　　具体的网页的获取步骤是这样的：

　 　我们可以设定我们的搜索程序最大可以开的线程的数目，然后这些线程可以同时在网上进行搜索，它们根据数据库中已有的关于网页的信息，找出那些需要更新的 网页（如何判断哪些网页需要更新是一个值得研究的过程，现在有很多启发式和智能的算法，基本上是基于统计规律进行建模。最简单的当然是设定一个时间范围， 在某个时间范围以前的网页被重新去搜索一遍），然后判断那些网页是否在屏蔽表中，如果是的话，就从关于URL的表中删除该条记录。否则，我们就到相应的 WWW站点去得到URL指定的文件(这里需要注意的是根据不同的URL的特点，需要使用不同的协议，比如对于FTP站点要采用FTP协议，对于HTTP站 点要采用HTTP协议，新闻站点要采用NNTP协议等等)事实上，我们先得到关于该网页的头信息，如果该网页的最新修改时间和我们最近提取的时间是一样的 话，表示该网页内容没有任何更新，则我们就不必去得到它的内容，只需要修改最近一次更新它的时间为当前的时间就可以了。如果该网页最近做了修改，我们就要 得到该网页，并对它的内容进行分析，主要要包括和它相关的链接，把它们加到相应的数据库中，同时判断网页所包含的各种其他的文件，如文本文件、图形文件、 声音文件和其他多媒体文件是否是我们所需要的文件，如果是的话，就把它加到我们响应的数据库中。同时要根据网页的内容提取所有的有意义的单词和它们的出现 的次数，放到相应的数据库中。为了更好的描述这个过程，我们来看跟这个过程相关的主要的几个对象和数据结构。对象主要是针对三个层次来讲的。第一层是针对 WWW服务器，第二层是针对每一个页面，第三层是针对每一个页面的全文的索引。

　　2.3 和实现相关的主要类对象和功能描述下面的结构是针对一个站点来说的。

    Class  CServer {
    主要的属性有：
    char *url;            //WWW站点的URL名称
    char *proxy;          //使用的代理的名称
    char *basic_auth;      //进行基本的HTTP认证
    int  proxy_port;      //代理的端口号
    int  period;          //再次索引的周期
    int  net_errors;      //网络连接不通的次数
    int  max_net_errors;  //可以允许的最大的网络错误
    int  read_timeout;    //下载文件允许的最大的延迟
    int  maxhops;          //表示URL可以最大跳转的深度
    int  userobots;        //是否遵守robot.txt中的约定
    int  bodyweight;  // 在< body >....< /body >之间的单词的权重
    int  titleweight; // 在< title >....< /title >之间的单词的权重
    int  urlweight;  // 在文档的URL中的单词的权重
    int descweight;//在    < META
NAME="Description"        Content="..." >之间单词的权重
    int  keywordweight; //在< META NAME="Keywords" Content="..." >
  之间的单词的权重

　　主要方法有：
FindServer();//用来查找该服务器是否存在并可以连接
FillDefaultAttribute() //用来针对所有的WWW服务器填写默认的属}；

以上的对象中的成员变量是和一个站点相关的参数的设置，我们对所有的站点有一个默认的设置，但是可以对某些站点做一些特殊的设置。这些设置可以在配置文件中设定。
　　下面是关于文档的结构的主要的数据成员：

Class CNetDocument
    主要属性有：
    int    url_id; //该URL的ID号
    int    status;  //获取该文档时候的状态
    int    size;  //文档的尺寸
int    tag;  //和该文档相关的标签，表示该文档是
HTML，TEXT或者是其他类型
    int    hops;    //URL跳转的次数
    char    *url; //和该文档相关的URL的名称
    char    *content_type;      //该内容的类型
    char    *last_modified;    //最近一次的更新时间
    char    *title;            //该文档的标题
    char    *last_index_time;  //上次索引的时间
    char    *next_index_time;  //下次索引的时间
    char    *keywords;          //该文档中的关键字
    char    *description;      //该文档的描述

  主要方法有：
  FillDocInfo(…) //根据数据库，得到该文档相关信息
  AddHerf(…)    //加入网页中存在的新的链接的网址
  DeleteURL(…)  //删除一个存在的网址
  CanGetThisURL(…) //根据配置决定是否去得到该网页
  //下面三个方法是根据不同的URL，用不同的协议去获得文档
  NNTPGet(…)     
  FTPGet(….)
  HTTPGet(….)
  ParseHead(…)  //如果是HTTP协议得到的话，分析头信息
  ParseMainBody(…)    //对获得的文档的主体进行分析
  ServerResponseType (….)  //得到服务器端的响应消息
  UpdateURLDB(….)  //更新的数据入库
} ；

　　事实上，我们在要提取一个网页的时候，都要建立一个CNetDocument对象，然后再对这个网页进行分析的时候，把相关的内容放到这个CNetDocument的成员变量里面。下面是关于页面全文索引的结构的主要数据成员：
Class CIndexer {
主要属性有：
  char    *url;      //我们要处理的文档相关的URL的名称
  int mwords;      //  我们事先设定的一个网页的最大的单词数目
    int nwords;          // 实际的得到的单词的数目
    int swords;          // 我们已经排序的单词的数目
    WORD *Word;      //所有单词的内容
    char *buf;      //我们为文档所分配的空间
主要方法有：
  InitIndexer(…)    //进行初始设置和分配
  ParseGetFile(…)  //对得到的网页进行全文索引
  AddWord(…)    //把网页的可以索引的单词加到Word数组中去
  InToDB(….)    //关于网页全文索引的信息入库
}；

　　进行网页提取前，我们要建立一个CIndexer对象，它主要是用来对网页进行全文的索引。一般来说我们只对两种类型的URL进行全文索引，一个是text/html，另外一个是text/plain。其中WORD的数据结构如下：
        typedef struct word_struct {
    int count;  //该单词出现的次数
    int code;  //该单词的正常的形式，
比如单词可能为 encouraging,它的正常的形式应该为
encourage,这其实是一种对单词的stem。
即我们只取单词的主干部分。
    char *word;  //该单词的内容
} WORD;

　　以下的结构是和网页中的一些链接的对象相关的一个数据结构
    typedef struct href_struct {
    char *href;    //该链接的名称
    int hops;      //发生的跳转次数
    int stored;    //是否已经存储到数据库中
} HREF;
 

　　所有需要更新的和新产生的URL都被放到这个结构中，当它的数量超过一定的范围以后，被一次性的存入数据库。
　　关于URL的一个数据结构如下：

typedef struct url {
char *schema; //表示该URL是通过什么协议得到的，比如HTTP，
              FTP，NNTP等。
char *specific;    //主机的名称加上路径
char *hostinfo;    //主机的名称加上相关的协议端口
char *hostname;    //主机的名称
char *path;        //在主机的具体的路径
char *filename;    //文件的名称
char *anchor;      //相关的anchor
int  port;        //协议相关的端口
} URL;

　　这是针对URL的一些相关的属性的描述的一个数据结构。事实上在数据库中，我们存储的只是对网页的描述和对一些文本和HTML页面的关键词的索引信息。我们并不存储网页的实际的内容。

　　三、用户查询实现描述

　　关于对用户提交的查询请求的实现分析：

　　用户想要查询某一方面的信息一般都是通过提供和该领域相关的几个关键字来进行的。

　　我们来看一下关于用户查询的相关的数据结构和类：

　　下面是一个关于单词和它的权值的基本结构：

  typedef struct word_weight_pair
    {
      char word[WORD_LEN];
      int weight;
    }word_weight_pair;
   

　　下面的类主要是用来对用户的查询进行处理和分析：
    Class CUserQuery
    {
char m_UserQuery[MAX_QUERYLEN];  //用户的查询表达式
CPtrArray word_weight_col;
//是关于结构word_weight_pair的动态数组
int m_maxReturnSum;  //用户希望返回的最多的网页数
int search_mode;
CObArray m_returnDoc;  //是关于CNetDocument对象的一个动态数组
NormalizeWord（char* OneWord）;  //对单词进行归整化，即Stem.
Find(char* odbcName);  //进行数据库查找和匹配
}；

　　系统实现的基本的步骤如下：

　　1.对用户输入的查询表达式进行分析。事实上，我们在前面的Spider搜索过程中对文档的表示是通过关键字形式描述的，每一个文档可以表示为这样的一个集合

    其中 ::=< 单词或短语名称 >< 单词或短语的权值 >

　　实际上就是采用矢量空间的表示方法来表示的文档。

　 　我们对用户输入的查询表达式也采用矢量空间的表示方法。我们认为用户输入的关键字的顺序代表了它的重要性的程度，所以对于位置靠前的单词有相对比较高的 优先级，同时我们对所有的内容以短语或者是单词为最小原子，进行Stem操作，即象前面所提到的：比如单词Encouraging就转化成 Encourage的格式。然后去掉那些Stop Word，比如is ,as等等的单词，这些单词存放在StopWordTbl表中。 然后把所有归整化后的内容放入动态数组word_weight_col中去。

　　2.对于动态数组word_weight_col中 的每一个元素，即结构word_weight_pair（包括单词和该单词的权重），我们从表WordDictionaryTbl中可以找到和这些单词相 关的记录，这些记录应该是包括了所有的在word_weight_col中的单词。

　　进行网页是否和查询相匹配的计算。匹配计算的 过程如下：首先我们对所有的记录按URL地址进行排序。因为可能好几条记录对应的是一个URL，然后对每一个网页进行打分，每一条记录的单词权值为 INITSCORE*WEIGHT+（TOTALTIMES-1）*WEIGHT* INCREMENT。其中INITSCORE为每一个单词的基准分数，TOTALTIMES为该单词在网页中的出现的次数，WEIGHT是该单词在不同的 内容段出现有不同的权值（比如在KEYWORD段，或者是标题段，或者是内容段等等）。INCREMENT是该单词每多出现一次所增加的分数。

　　3.根据用户指定的m_maxReturnSum，显示匹配程度最高的前m_maxReturnSum页。

　　四、结束语

　 　我们利用上面所讨论的机制，在WINDOWS NT操作系统下，用VC++和SQL SERVER实现了一个Web搜索引擎的网页搜集过程。在建立了一个基本的搜索引擎的框架以后，我们可以基于这个框架，实现一些我们自己设计的算法，比如 如何更好的进行Spider的调度，如何更好的进行文档的归类，如何更好的理解用户的查询，用来使Web搜索引擎具有更好的智能性和个性化的特点。

     摘要: 1.   目标 使用 apache 和 tomcat 配置一个可以应用的 web 网站，要达到以下要求： 1、  Apache 做为 HttpServer ，后面连接多个 tomcat...  阅读全文

JDBC学习笔记
2004-9-13     星期一     小雨

l. 连接到数据库的方法
答：1) ODBC(Open Database Connectivity)
       一个以C语言为基础访问SQL为基础数据库引擎的接口，它提供了一致的接口用于和数据库沟通以及访问数据。
    2) JDBC
       Java版本的ODBC

2. JDBC应用编程接口
答：JDBC应用编程接口是：
    1) 标准的数据访问接口，可以连到不同的数据库;
    2) JAVA编程语言的一组类和接口。
    JDBC应用编程接口能够：
    1) 连接到数据库;
    2) 发SQL查询字符串到数据库;
    3) 处理结果。
    JDBC应用编程接口有二个主要的部分：
    1) JAVA应用程序开发接口面向JAVA应用程序开发者;
    2) JDBC驱动程序开发接口
    
3. JDBC Driver
答：1) 一大堆实现了JDBC类和接口的类;
    2) 提供了一个实现java.sql.Driver接口的类。

4. JDBC Driver的四种类型
答：1) JDBC-ODBC桥
    由ODBC驱动提供JDBC访问
    2) 本地API
    部分Java driver把JDBC调用转化成本地的客户端API
    3) JDBC-net
    纯的Java driver，将JDBC调用转入DBMS，与网络协议无关。然后通过服务器将调用转为DBMS协议。
    4) 本地协议
    纯的java driver，将JDBC调用直接转为DBMS使用的网络协议

5. JDBC开发者接口
答：1) java.sql--java 2平台下JDBC的主要功能，标准版(J2SE)
    2) javax.sql--java 2平台下JDBC增强功能，企业版(J2EE)

6. 使用URL确认数据库
答：我们使用URL来确定一个数据库(正确的Driver,正确的主机,正确的协议，正确的协议，正确的用户名和密码);
    语法：protocol:subprotocol:subname
    范例：jdbc:db2:MyTest
          jdbc:db2://localhost:6789/MyTest

7. javax.sql包JDBC2.0的增强功能
答：1) 数据源接口;
    2) 连接池;
    3) 分布式交易;
    4) 行集;

8. 创建一个基本的JDBC应用
答：1) 步骤一：注册一个driver;
    2) 步骤二：建立一个到数据库的连接;
    3) 步骤三：创建一个statement;
    4) 步骤四：执行SQL语句;
    5) 步骤五：处理结果;
    6) 步骤六：关闭JDBC对象

9. 注册一个Driver(步骤一)
答：1) driver被用于连接到数据库;
    2) JDBC应用编程接口使用第一个能成功连接到给定URL的driver;
    3) 在同一时间可以装载多个driver

10.注册一个driver的方法：
答：1) 使用类loader(装载;实例化;注册入DriverManager)
       a. Class.forName("Com.ibm.db2.jdbc.app.DB2Driver");
       b. Class.forName("Com.ibm.db2.jdbc.net.DB2Driver");
       c. Class.forName("Com.microsoft.jdbc.sqlServer.SQLServerDriver);
       d. Class.forName("oracl.jdbc.driver.OracleDriver");
       e. Class.forName("sun.jdbc.odbc.JdbcOdbcDriver");
    2) 实例化一个Driver
       a. Driver drv = new COM.cloudscape.core.RmiJdbcDriver();

2004-9-14     星期二     阴

1. 建立一个到数据库的连接(步骤二)
答：DriverManager调用getConnection(urlString)方法，实际上调用的是driver的connect(urlString)方法;
    1) 当一个driver肯定地对应到一个数据库URL，DriverManager建立一个连接;
    2) 当没有driver匹配，返回null然后下一个driver被检验;
    3) 假如没有建立连接，抛出一个SQLExcepiton异常

2. 经常使用的一些JDBC URL
答：1) JDBC-ODBC: jdbc:odbc:<DB>
    2) Oracle: jdbc:oracle:oci:@<sid> or jdbc:oracle:thin:@<SID>
    3) Weblogic MS-SQL: jdbc:weblogic:mssqlserver4:<DB>@<HOST>:<PORT>
    4) DB2: jdbc:db2:MyTest or jdbc.db2://localhost:6789/MyTest(需要用户名和密码)

3. Driver连接方法
答：1) 创建一个到指定Driver实例的直接调用;
    2) 避免一般访问的问题
       Driver drv = new COM.ibm.db2.jdbc.app.DB2Driver();
       Connection con = null;
       try {con = drv.connect("jdbc:db2:MyTest",new Properties())}
       catch(SQLException e){}

4. 创建一个Statement(步骤三)
答：1) Statement的三个接口:
       a. Statement;
       b. PreparedStatement(继承自Statement);
       c. CallableStatement(继承自PreparedStatement);
    2) 使用方法Connection.createStatement()得到一个Statement对象

5. PreparedStatement对象
答：1) 调用ProparedStatement比statement更为高效;
    2) 继承自Statement;
    3) 语法：PreparedStatement pstm = connection.prepareStatement(sqlString);

6. CallableStatement对象
答：1) 通过CallableStatement调用数据库中的存储过程;
    2) 继承自PreparedStatement;
    3) CallableStatement cstm = connection.prepareCall("{call return_student[?,?]}");
       cstm.setString(1,"8623034");
       cstm.registerOutparameter(2, Types.REAL);
       cstm.execute();
       float gpa = cstm.getFloat(2);

7. Statement接口的比较
答：             | Statement           | PreparedStatement         |  CallableStatement
    ------------------------------------------------------------------------------
    写代码位置   |   客户端            | 客户端                    |  服务器端
    ------------------------------------------------------------------------------
    写代码位置   |   客户端            | 服务器端                  |  服务器端
    ------------------------------------------------------------------------------
    编写代码技术 |Java，SQL操作        |Java，SQL操作              |  数据库的程序语言，如PL/SQL
    ------------------------------------------------------------------------------
    可配置性     |   高                |第一次高，以后低           |  低
    ------------------------------------------------------------------------------
    可移植性     |   高                |假设支持PreparedStatement的话高    
    ------------------------------------------------------------------------------
    传输效率     |   低                |第一次低，以后高           |  高

8. 执行SQL Statement(步骤四)
答：通过接口方法将SQL语句传输至?认的数据库连接，返回结果可能是一个数据表，可以通过java.sql.ResultSet访问。
    1) Statement的接口方法：
    a. executeQuery(sqlString): 执行给定的SQL声明，返回一个结果集(ResultSet)对象;
    b. executeUpdate(sqlString): 执行给定的SQL声明，可以是INSERT、UPDATE或DELETE声明，也可以是SQL DDL声明;
    c. execute(sqlString): 执行给定的SQL声明。

9. 处理结果(步骤五)
答：1) 使用结果集(ResultSet)对象的访问方法获取数据;
       a. next():下一个记录
       b. first():第一个记录
       c. last():最后一个记录
       d. previous():上一个记录
    2) 通过字段名或索引取得数据
    3) 结果集保持了一个指向了当前行的指针，初始化位置为第一个记录前。

10. 关闭JDBC对象(步骤六)
答：1) 首先关闭记录集;
    2) 其次关闭声明;
    3) 最后关闭连接对象。

11. 数据表和类对应的三种关系：
答：1) 一个表对应一个类;
    2) 一个表对应相关类;
    3) 一个表对应整个类关系层

12. 类间关系的几种表设计：
答：1) 多对一，
    2) 一对一: 
    3) 一对多：
    4) 多对多：

13. SQL数据类型及其相应的Java数据类型
答：SQL数据类型                     Java数据类型              说明
    ------------------------------------------------------------------
    INTEGER或者INT                  int                     通常是个32位整数
    SMALLINT                        short                   通常是个16位整数
    NUMBER(m,n) DECIMAL(m,n)        Java.sql.Numeric        合计位数是m的定点十进制数，小数后面有n位数
    DEC(m,n)                        Java.sql.Numeric        合计位数是m的定点十进制数，小数后面有n位数
    FLOAT(n)                        double                  运算精度为n位二进制数的浮点数
    REAL                            float                   通常是32位浮点数
    DOUBLE                          double                  通常是64位浮点数
    CHARACTER(n)或CHAR(n)           String                  长度为n的固定长度字符串
    VARCHAR(n)                      String                  最大长度为n的可变长度字符串
    BOOLEAN                         boolean                 布尔值
    DATE                            Java.sql.Date           根据具体设备而实现的日历日期
    TIME                            Java.sql.Time           根据具体设备而实现的时戳
    TIMESTAMP                       Java.sql.Timestamp      根据具体设备而实现的当日日期和时间
    BLOB                            Java.sql.Blob           二进制大型对象
    CLOB                            Java.sql.Clob           字符大型对象
    ARRAY                           Java.sql.Array
    

2004-9-15     星期三      阴

1. 元数据
答：关于数据的信息，例如类型或者容量。通过JDBC API可以访问：
    1) 数据库元数据;
       a. 使用connection.getMetadata方法返回DataMetaData引用
       b. 能够使用isReadOnly此类方法获取信息
    2) 结果集元数据;
       a. 使用ResultSet.getMetadata方法返回ResultSetMetaData引用
       b. 能够使用getColumnCount此类方法获取信息

2. 事务处理
答：1) 一系列的动作作为一个不可分的操作;
    2) JDBC API中使用事务处理步骤：
       a. 用false作为参数调用setAutoCommit方法;
       b. 执行一或多个关于数据库的操作;
       c. 调用commit方法完成改变;
       d. 恢复上次提交后的改变，调用rollback方法.

       try
       {
          con.setAutoCommit(false);
          Statement stm = con.createStatement();
          stm.executeUpdate("insert into student(name, age, gpa) values('gzhu', 30, 4.8)");
          stm.commit();
       }
       catch(SQLException e)
       {
          try
          {
             con.rollback();
          }
          catch(Exception e)
          {
          }
       }

3. 并发控制
答：1) 设置隔离级别方法：setTransactionIsolation
    2) 隔离级别静态变量
       a. TRANSACTION_NONE：只读的数据字典;
       b. TRANSACTION_READ_UNCOMMITTED：只读未提交数据;
       c. TRANSACTION_READ_COMMITTED：只读未提交数据;
       d. TRANSACTION_REPEATABLE_READ：重复读取数据;
       e. TRANSACTION_SERIALIZABLE：无论做什么操作都不许别人动。
    3) 示例：con.setTransactionIsolation(Connection.TRANSACTION_READ_UNCOMMITTED);

4. JDBC 2.0 应用程序编程接口增强功能
答：1) ResultSet增强：
       a. 可以回卷;
       b. 可以修改;
       设置示例：Statement stm = con.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE);
    2) Statement增强了批量修改能力(batch updates);
    3) 更高级的数据类型(例：Struct)。

5. JDBC 2.0标准扩展
答：1) JNDI(Java Naming and Directory Interface): 解决离散状态下Object的查找;
    2) 连接池：在内存中保存了一个数据库连接，不需要注册驱动器，提高性能的重要方法。