最近网络上关于分词的算法已经很多了,在实际应用中每个人根据对分词的不同理解写了不同的中文分词算法,可谓百花齐放.
    但现在似乎还没有针对未登陆词的识别算法,有鉴于此,我特地写了一个,抛砖引玉.

    算法的假设:
    1. 未登陆词是由单字组成的;
    2. 如果一个字同时属于2个未登陆词,那么只选择第一被识别的词;

    测试文章:
    最近电视剧大长今很火,我就选取了介绍大长今的文章,
    地址:http://www.360doc.com/showWeb/0/0/18183.aspx
    识别结果如下:
        PDH : initialize phrase dictionary
        QuerySpliter reInitialize dictionary.
        长今,职场,闵政浩,韩剧,郑云白,连生,主簿,冷庙高香,义字,医女,张德,剩者,济州,选拨,文秘

    算法原理:
    首先找出已经分词后的单字,然后查看单字的下一个是否还是单字,如果是,判断这种情况出现的次数,如果超过预订的阀值,那么就确认这是一个新词.
    下面是一个算法的计算过程展示:
    PDH : initialize phrase dictionary
    QuerySpliter reInitialize dictionary.
    >>>8,9;9,10
    长今
    >>>237,238;238,239
    职场
    >>>595,596;596,597;597,598
    闵政浩
    >>>189,190;190,191
    韩剧
    >>>1111,1112;1112,1113;1113,1114
    郑云白
    >>>599,600;600,601
    连生
    >>>610,611;611,612
    主簿
    >>>975,976;976,977;977,978;978,979
    冷庙高香
    >>>1233,1234;1234,1235
    义字
    >>>559,560;560,561
    医女
    >>>561,562;562,563
    张德
    >>>3114,3115;3115,3116
    剩者
    >>>534,535;535,536
    济州
    >>>580,581;581,582
    选拨
    >>>2071,2072;2072,2073
    文秘
    本算法是在:小叮咚分词的基础上进行的.
    欢迎大家一起交流,改进这个算法.
       
    相关连接:
             

     原帖地址

什么是垂直搜索引擎（之二）

垂直搜索引擎的三个特点：

1、垂直搜索引擎抓取的数据来源于垂直搜索引擎关注的行业站点：
    比如：找工作的搜索引擎 www.deepdo.com 的数据来源于：www.51job.com , www.zhaoping.com , www.chinahr.com 等等；
          股票搜索引擎 www.macd.cn 的数据来源于： www.jrj.com.cn , www.gutx.com 等股票站点；
2、垂直搜索引擎抓取的数据倾向于结构化数据和元数据：
    比如：我们找工作关注的：
        职位信息： 软件工程师；
        公司名称，行业名称：软件公司，外包行业等；
        地点：北京，海淀；
3、垂直搜索引擎的搜索行为是基于结构化数据和元数据的结构化搜索：
        比如： 找：海淀 软件工程师 的工作等。

垂直搜索引擎站点的8条准则：

1、选择一个好的垂直搜索方向。俗话说男怕选错行，这一点对于搜索引擎来说也是一样的，除了选择的这个行业有垂直搜索的大量需求外，这个行业的数据属性最好不要和
Yahoo,Google等通用搜索的的抓取方向重叠。
    目前热门的垂直搜索行业有：购物，旅游，汽车，工作，房产，交友等行业。搜索引擎对动态url数据不敏感也是众所周知的，这些可以作为垂直搜索引擎的切入点；

2、评价所选垂直搜索行业的网站、垂直搜索内容、行业构成等情况：
    我们都知道垂直搜索引擎并不提供内容来源，它的数据依赖爬虫搜集，并做了深度加工而来的。因此考虑垂直搜索引擎的所处的大环境和定位至关重要。
3、深入分析垂直搜索引擎的索引数据特点：
    垂直搜索引擎的索引数据过于结构化，那么进入的门槛比较低，行业竞争会形成一窝蜂的局面；如果搜索数据特点是非结构化的，抓取，分析这样的数据很困难，进入壁
垒太高，很可能出师未杰身先死。
4、垂直搜索引擎的索引数据倾向于结构化数据和元数据，这个特点是区别于yahoo,google等通用搜索引擎的，这是垂直搜索引擎的立足点。而垂直搜索引擎是根植于某一个行业 ，因此行业知识，行业专家这些也是通用搜索引擎不具备的。也就是说进入垂直搜索是有门槛的。
5、垂直搜索引擎的搜索结果要覆盖整个行业，搜索相关性要高于通用搜索引擎，贴近用户搜索意图，搜索结果要及时。
6、垂直搜索引擎的web 2.0 需求：
    垂直搜索引擎的搜索数据由于带有结构化的天性，相对于通用搜索引擎的全文索引而言，更显的少而精。因此，设计的时候要提供收集用户数据的接口，同时提供tag,积
分等机制，使搜索结果更加“垂直”。
7、垂直搜索引擎的目标是帮助用户解决问题，而不只是向通用搜索引擎一样发现信息：
    这一点是垂直搜索引擎的终极目标。 在做垂直搜索引擎的时候你需要考虑：什么问题是这个行业内的特殊性问题，什么问题是一般性问题。keso多次提到google的目标是
让 用户尽快离开google，而垂直搜索引擎应该粘住用户。一般来说，使用垂直搜索引擎的用户都是和用户的利益需求密切相关的。所谓利益需求是我自己独创 的，大意是和用户工作密切相关，生活中必不可少的需求，而求有持续性。比如：学生找论文，业主找装修信息等等这样的需求。因此粘住用户，让用户有反馈的途 径是一个关键部分。
8、垂直搜索引擎的社区化特征：
    这一条和第9条是相关的。
    俗话说物以类聚，人以群分，垂直搜索引擎定位于一个行业，服务于一群特定需求的人群，这个特点决定了垂直搜索的社区化行为。人们利用垂直搜索引擎解决问题，分享回馈。现在做网站都讲求社区化，所以垂直搜索引擎本质上还是：对垂直门户信息提供方式的一次简化性的整合。

    相关连接：什么是垂直搜索引擎

     原帖地址

Boyer-moor 字符串搜索算法

    最近因为需要从大量的文本中检索字符串，于是想比较一下java jdk提供的 indexof 算法，和其他字符串搜索算法的效率。字符串搜索算法有多种，其中比较有名的是boyer-moore算法。在Moore 先生的主页上有关于 boyer-moore算法的详细介绍。
    moore先生介绍的通俗易懂，相信大家都能看明白。

     同时还看到：Boyer-Moore串查找JAVA算法这篇文章 ，可惜是安徽工业大学的内部刊物，无法看到文章的详情，真是遗憾。   

相关连接：
                   boyer-moore 算法文档中心
                               多么乐

多么乐 搜索引擎索引量报告--实现了自动发送周报功能

      自从 多么乐 搜索引擎 索引量 统计报告发布一来已经有100多位站长登陆使用；为了把这部分数据主动送到各位站长手中，我特地制作了 这个周报功能，他将会在没周六下午3点10分，给您提供贵站在google,baidu,yisou,msn等主流搜索引擎上的索引量数据。

       如果您想也使用这项功能，您可以在： 搜索引擎统计  上登陆您的网址，（注意按照要求填写。）

       并提供您的Email地址。

       如果有意见和建议请发信到： xiaodingdong@gmail.com 

        下面是一个邮件例子：

 关于 小叮咚中文分词  .net版本发布的变化

    现在几乎每天都有朋友给我写信，要求交流小叮咚中文分词的实现。我现在实现的有java和C#两个版本。同样的算法逻辑，用 java 和 C#写两边可不是有趣的事情 。于是自然而然想起了 关于lucene发展和多语言实现的方向  中采用的方法，于是决定以后主要更新java版本的中文分词算法，而.net版本的中文分词则在java class基础上转化过来。

    很早的时候我的一篇blog介绍过：基于.NET的Java虚拟机IKVM介绍 。于是今天就尝试了一把，整个过程还算顺利。下面是我的转换过程：

   
    X:\ikvmbin-0.14.0.1\ikvm\bin>ikvmc -target:library X:\XXXX\chinese_sentence_splitter.jar
    Note: output file is "chinese_sentence_splitter.dll"
    Note: automatically adding reference to "e:\programming\java&.net\ikvmbin-0.14.0.1\ikvm\bin\ikvm.gnu.classpath.dll"

    通过上面的命令可以把 java jar 文件转换成  同名的 .net dll。

    在java中测试的结果如下：

    但在.net中测试的结果却不正确：

   

    这很显然是IKVM.NET在转换过程中出现了问题。

    由于第一次使用IKVM.NET，因此这个问题还需要在以后有时间解决一下。也希望有相关经验的朋友多多指导.

    相关连接：

小叮咚 中文分词 发布 java 版本 , c# 版本 ， c++ 版本

    最近关于中文分词的处理逐渐多了起来，我以前的文章也零星的介绍过许多这方面的技术。总有一些朋友来信索要中文分词的代码，而且要不同版本的，鉴于这个情况，我把我对分词的理解，按照java,C#语言各自实现了一份。C++的版本，还是用中科院的ICTCLAS 毕竟这个分词程序是很多分词的鼻祖。

    大家可以到：小叮咚中文分词主页查看详情。

    程序还有很多不完善的地方，功能列表和开发文档现在都不完整，希望有这方面爱好的朋友一起参与进来，完善，提高。

    也欢迎大家来信讨论：  xiaodingdong@gmail.com

     田春峰

     相关联接：

                小叮咚分词主页

                计算所汉语词法分析系统ICTCLAS 字典格式解析

                 一种面向搜索引擎的中文切分词方法

                 公开小叮咚分词源代码