Rising Sun

Lucene 的 Directory类就像它的意思一样“目录”，如“目录”不存在，第一次启动被创建，一旦文件被创建，它只能打开阅读，或删除。允许读取和写入随机访问。Java I/O api 不能直接使用，只能通过这个API 。Directory的实现类可以分为文件目录，内存目录和目录的代理类及工具类。具体如下图所示：

一：文件目录

SimpleFSDirectory:FSDirectory的简单实现,并发能力有限，遇到多线程读同一个文件时会遇到瓶颈，通常用NIOFSDirectory或MMapDirectory代替。

NIOFSDirectory：通过java.nio's FileChannel实行定位读取，支持多线程读（默认情况下是线程安全的）。该类仅使用FileChannel进行读操作，写操作则是通过FSIndexOutput实现。

注意：NIOFSDirectory 不适用于Windows系统，另外如果一个访问该类的线程，在IO阻塞时被interrupt或cancel，将会导致底层的文件描述符被关闭，后续的线程再次访问NIOFSDirectory时将会出现ClosedChannelException异常，此种情况应用SimpleFSDirectory代替。

MMapDirectory：通过内存映射进行读，通过FSIndexOutput进行写的FSDirectory实现类。使用该类时要保证用足够的虚拟地址空间。另外当通过IndexInput的close方法进行关闭时并不会立即关闭底层的文件句柄，只有GC进行资源回收时才会关闭。

为了能适应各个操作系统选择最佳Directory方案，lucene 提供FSDirectory类的静态方法open()实现自适应。

 public static FSDirectory open(File path, LockFactory lockFactory) throws IOException {

    if ((Constants.WINDOWS || Constants.SUN_OS || Constants.LINUX)

          && Constants.JRE_IS_64BIT && MMapDirectory.UNMAP_SUPPORTED) {

      return new MMapDirectory(path, lockFactory);

    } else if (Constants.WINDOWS) {

      return new SimpleFSDirectory(path, lockFactory);

    } else {

      return new NIOFSDirectory(path, lockFactory);

    }

  }

二：内存目录

RAMDirectory：常驻内存的Directory实现方式。默认通过SingleInstanceLockFactory（单实例锁工厂）进行锁的实现。该类不适合大量索引的情况。另外也不适用于多线程的情况。 在索引数据量大的情况下建议使用MMapDirectory代替。RAMDirectory是Directory抽象类在使用内存最为文件存储的实现类，其主要是将所有的索引文件保存到内存中。这样可以提高效率。但是如果索引文件过大的话，则会导致内存不足，因此，小型的系统推荐使用，如果大型的，索引文件达到G级别上，推荐使用FSDirectory。

NRTCachingDirectory：是对RAMDirectory的封装，适用于近乎时时（near-real-time）操作的环境。

三：Direcotry的代理类及工具类

FileSwitchDirectory:文件切换的Directory实现.针对lucene的不同的索引文件使用不同的Directory .借助FileSwitchDirectory整合不同的Directory实现类的优点于一身
比如MMapDirectory,借助内存映射文件方式提高性能，但又要减少内存切换的可能 ，当索引太大的时候，内存映射也需要不断地切换，这样优点也可能变缺点，而之前的NIOFSDirectory实现java NIO的方式提高高并发性能，但又因高并发也会导致IO过多的影响，所以这次可以借助FileSwitchDirectory发挥他们两的优点。

RateLimitedDirectoryWrapper:通过IOContext来限制读写速率的Directory封装类。

CompoundFileDirectory：用于访问一个组合的数据流。仅适用于读操作。对于同一段内扩展名不同但文件名相同的所有文件合并到一个统一的.cfs文件和一个对应的.cfe文件内。
.cfs文件由Header，FileData和FileCount组成。.cfe文件由Header，FileCount,FileName,DataOffset,DataLength组成。.cfs文件中存储着索引的概要信息及组合文件
的数目（FileCount）。.cfe文件存储文件目录的条目内容，内容中包括文件数据扇区的起始位置，文件的长度及文件的名称。

TrackingDirectoryWrapper：Directory的代理类。用于记录哪些文件被写入和删除。

四：Direcotry读写对象的类图

 文章转载过来的！

    本机已经安装了jdk1.6，而比较早期的项目需要依赖jdk1.5，于是同时在本机安装了jdk1.5和jdk1.6. 

 安装jdk1.5前，执行java -version得到

java version "1.6.0_38"
Java(TM) SE Runtime Environment (build 1.6.0_38-b05)
Java HotSpot(TM) 64-Bit Server VM (build 20.13-b02, mixed mode)

安装完jdk1.5,并修改环境变量JAVA_HOME为D:\devSoftware\jdk1.5.再执行 java -version时，依然显示：

java version "1.6.0_38"
Java(TM) SE Runtime Environment (build 1.6.0_38-b05)
Java HotSpot(TM) 64-Bit Server VM (build 20.13-b02, mixed mode)

看上去，新的环境变量JAVA_HOME=D:\devSoftware\jdk1.5并没有生效。 在网上找了很多资料才发现：

      在安装JDK1.6时（本机先安装jdk1.6再安装的jdk1.5），自动将java.exe、javaw.exe、javaws.exe三个可执行文件复制到了C:\Windows\System32目录，由于这个目录在WINDOWS环境变量中的优先级高于JAVA_HOME设置的环境变量优先级

解决方案：将java.exe,javaw.exe,javaws.exe删除即可。开启新的命令行窗口，再执行java -version时，就得到了期望中的结果

java version "1.5.0_17"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_17-b04)
Java HotSpot(TM) 64-Bit Server VM (build 1.5.0_17-b04, mixed mode)

在学lucene 之初看了许多书，都是走马观花，没有项目的驱动下，来一个用例demo感觉也不是很难，“我会了”这是我的第一感觉。

         在2013年底公司接到一个项目用到lucene,这是我第一次正真接触Lucene，代码比较老3.6版本，不适合新项目的需求（空间查询）。于是下载了最新版本 4.51,有带“空间查询”模块。各大搜索引擎都没有找到像样例子，于是想到了lucene svn的 trunk目录测试用例中找到了测试例子，开始了一段lucene之旅。

写数据，创建IndexWriter,通过它的构造函数需要一个索引目录（Diectory）和索引写入配置项（InderWriterConfig）,直接上代码：

//设置写入目录(好几种呵呵)

Directory d=FSDirectory.open(new File("D:/luceneTest"));

//设置分词 StandardAnalyzer（会把句子中的字单个分词）

Analyzer analyzer= new StandardAnalyzer(Version.LUCENE_45);

//设置索引写入配置

IndexWriterConfig config=new IndexWriterConfig(Version.LUCENE_45,analyzer);

//设置创建模式

//config.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);

IndexWriter indexwriter= new IndexWriter(d,config);

    上面四行代码就创建好了indexwriter，下面把数据填入就好了，写入有多种方式如下图：

         用 addDocment 举例代码如下：

Document doc=new Document(); 

        doc.add(new StringField("id", "1", Store.YES));

        doc.add(new StringField("name", "brockhong", Store.YES));

        doc.add(new TextField("content", "lucene 文档第一次写看着给分吧", Store.YES)); 

//写入数据

indexwriter.addDocument(doc);

//提交

indexwriter.commit();

用 Luke 工具查看Text列，这是标准分词惹的祸哦！写入成功。

         读数据查询，创建 IndexSearcher 构造函数设置indexReader ，输入查询条件，上面content字段数据设置了分词，所以必须通过查询解析类QueryParser设定分词字段、版本、分词模式，并通过parse方法得到查询条件。代码如下：       

 //读数据

 //创建 indexReader 这个已过时 IndexReader.open(d)，里面的代码一样可能为了兼容老版本

 IndexReader indexReader = DirectoryReader.open(d);

 IndexSearcher indexSearcher = new IndexSearcher(indexReader);

//查询 设置分词字段

QueryParser queryParser = new QueryParser(Version.LUCENE_45, "content",

                   new StandardAnalyzer(Version.LUCENE_45));

 //or 关系 “给”、“分”

         queryParser.setDefaultOperator(QueryParser.OR_OPERATOR);

Query query = queryParser.parse("给分");

TopDocs results = indexSearcher.search(query, 100);

int numTotalHits = results.totalHits;

System.out.println("共 " + numTotalHits + " 完全匹配的文档");

ScoreDoc[] hits = results.scoreDocs;

for (int i = 0; i < hits.length; i++) {

              Document document = indexSearcher.doc(hits[i].doc);

              System.out.println("content:" + document.get("content"));

}

使用SAXReader的read(File file)方法时，如果xml文件异常会导致文件被服务器占用不能移动文件，建议不使用read(File file)方法而使用read(FileInputStream fis)等流的方式读取文件，异常时关闭流，这样就不会造成流未关闭，文件被锁的现象了。(在服务器中运行时会锁住文件，main方法却不会)。

1、以下方式xml文件异常时会导致文件被锁

2、以下方式xml文件异常时不会锁文件(也可以使用其他的流来读文件)

arcgis

CGCS2000_3_Degree_GK_Zone_40

WKID: 4528 Authority: EPSG

Projection: Gauss_Kruger

False_Easting: 40500000.0

False_Northing: 0.0

Central_Meridian: 120.0

Scale_Factor: 1.0

Latitude_Of_Origin: 0.0

Linear Unit: Meter (1.0)

Geographic Coordinate System: GCS_China_Geodetic_Coordinate_System_2000

Angular Unit: Degree (0.0174532925199433)

Prime Meridian: Greenwich (0.0)

Datum: D_China_2000

  Spheroid: CGCS2000

    Semimajor Axis: 6378137.0

    Semiminor Axis: 6356752.314140356

Inverse Flattening: 298.257222101

Java 自定义

经纬度转换

       ///+proj=tmerc +lat_0=0 +lon_0=120 +k=1 +x_0=40500000 +y_0=0 +ellps=GRS80 +units=m +no_defs

                Point2D.Double srcProjec = null;

                Point2D.Double dstProjec = null;

                Projection proj = ProjectionFactory.fromPROJ4Specification (proj4_w);

//  "epsg:4528" 数据从proj4 拷贝 nad

//      Point2D.Double srcProjec = null;

//      Point2D.Double dstProjec = null;

//      Projection proj = ProjectionFactory.getNamedPROJ4CoordinateSystem ("epsg:4528");

        srcProjec = new Point2D.Double (120.159,30.267);

        //40515348.2903 3349745.5395

        dstProjec = proj.transform (srcProjec, new Point2D.Double ());

        System.out.println ("TM:" + dstProjec);

    // TM: Point2D.Double [644904.399587292, 400717.8948938238]

        srcProjec = new Point2D.Double (40515348.2903 ,3349745.5395);

        dstProjec = proj.inverseTransform (srcProjec, new Point2D.Double ());

        System.out.println ("TM:" + dstProjec);

今天研究Oracle遇到了这个问题ora-01033:oracle initializationor shutdown in progress

ORA-01033:ORACLEinitialization or shutdown in progress

解决方法

1)开始-运行-cmd

2)命令行中输入SQLPLUS SYS/SYS AS SYSDBA

3)输入SHUTDOWN

4)输入STARTUP.注意这里是最重要的地方,在显示相关数据后,它还会显示为什么不能启动的错误所在.

C:\Users\lenovo>SQLPLUSSYS/SYS AS SYSDBA

SQL*Plus: Release 10.2.0.3.0 - Production on星期三 7月 3 11:43:32 2013

Copyright (c) 1982, 2006, Oracle.  All Rights Reserved.

连接到:

Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 -Production

With the Partitioning, OLAPand Data Mining options

SQL> SHUTDOWN

ORA-01109:数据库未打开

已经卸载数据库。

ORACLE例程已经关闭。

SQL> STARTUP

ORACLE例程已经启动。

Total System Global Area 293601280 bytes

Fixed Size                 1290208 bytes

Variable Size            234881056 bytes

Database Buffers           50331648 bytes

Redo Buffers               7098368 bytes

数据库装载完毕。

ORA-01157:无法标识/锁定数据文件 6 - 请参阅 DBWR 跟踪文件

ORA-01110:数据文件 6: 'F:\DC\DB\SDRS\TS_SDRS.DBF'

SQL> alter databasedatafile'F:\DC\DB\SDRS\TS_SDRS.DBF'offline drop;

数据库已更改。

SQL> alter database open;

数据库已更改。

SQL> drop tablespaceTS_SDRS including contents;

表空间已删除。

SQL> create undo tablespace TS_SDRS

  2  datafile'CracleoradatasmsdbUNDOTBS01.DBF'size 2048M extent management local;

表空间已创建。

SQL> alter system setundo_tablespace=TS_SDRS;

系统已更改。

SQL> shutdown

数据库已经关闭。

已经卸载数据库。

ORACLE例程已经关闭。

SQL> startup

ORACLE例程已经启动。

Total System Global Area  293601280 bytes

Fixed Size                 1290208 bytes

Variable Size            243269664 bytes

Database Buffers          41943040 bytes

Redo Buffers               7098368 bytes

数据库装载完毕。

数据库已经打开。

SQL>

数据库rman restore database 之后，执行recover database的时候，报告ORA-01245错误，详细的错误信息如下：

SQL> recover database until cancel; ORA-00279: change 575876 generated at 12/01/2009 08:19:49 needed for thread 1 ORA-00289: suggestion : /oracle/flash_recovery_area/ORCL/archivelog/2009_12_01/o1_mf_1_2_%u_.arc ORA-00280: change 575876 for thread 1 is in sequence #2 Specify log: {=suggested | filename | AUTO | CANCEL} auto ORA-00308: cannot open archived log '/oracle/flash_recovery_area/ORCL/archivelog/2009_12_01/o1_mf_1_2_%u_.arc' ORA-27037: unable to obtain file status Linux Error: 2: No such file or directory Additional information: 3 ORA-00308: cannot open archived log '/oracle/flash_recovery_area/ORCL/archivelog/2009_12_01/o1_mf_1_2_%u_.arc' ORA-27037: unable to obtain file status Linux Error: 2: No such file or directory Additional information: 3 ORA-01547: warning: RECOVER succeeded but OPEN RESETLOGS would get error below ORA-01245: offline file 2 will be lost if RESETLOGS is done ORA-01110: data file 2: '/oracle/oradata/orcl/undotbs01.dbf' SQL>

检查ORA-01245那一行，发现是datafile 2状态为offline，解决的方法就是首先将datafile 2 online，然后再recover database。

ORA-01589: 要打开数据库则必须使用 RESETLOGS 或 NOR

ORA-01589: 要打开数据库则必须使用 RESETLOGS 或 NORESETLOGS
选项

SQL> alter database open 
ORA-01589: 要打开数据库则必须使用 RESETLOGS 或
NORESETLOGS 选项

SQL> alter database open resetlogs;
alter database
open resetlogs
*
ERROR 位于第 1 行:
ORA-01113: 文件 1 需要介质恢复
ORA-01110:
数据文件 1: 'E:\ORACLE\ORADATA\EYGLE\SYSTEM01.DBF'

SQL> recover database
using backup controlfile;
ORA-00279: 更改 1670743 (在 04/17/2008 14:13:16 生成)
对于线程 1 是必需的
ORA-00289: 建议: E:\ORACLE\ORA92\RDBMS\ARC00030.001
ORA-00280:
更改 1670743 对于线程 1 是按序列 # 30 进行的

指定日志: {<RET>=suggested | filename |
AUTO | CANCEL}
E:\oracle\oradata\EYGLE\REDO01.LOG
ORA-00310: 存档日志包含序列
29；要求序列 30
ORA-00334: 归档日志:
'E:\ORACLE\ORADATA\EYGLE\REDO01.LOG'

SQL> recover database using
backup controlfile;
ORA-00279: 更改 1670743 (在 04/17/2008 14:13:16 生成) 对于线程 1
是必需的
ORA-00289: 建议: E:\ORACLE\ORA92\RDBMS\ARC00030.001
ORA-00280: 更改
1670743 对于线程 1 是按序列 # 30 进行的

指定日志: {<RET>=suggested | filename |
AUTO |
CANCEL}
E:\oracle\oradata\EYGLE\REDO02.LOG
已应用的日志。
完成介质恢复。
SQL>
alter database open resetlogs;
数据库已更改。


OK,搞定了!

首先来看问题,然后来看函数的定义,其实什么都在函数定义里面说明白了

1.正则表达式字符串问题

首先输入的regex是一个正则表达式,而不是一个普通的字符串,所以导致很多在正则表达式里面有特殊意义的比如 "." "|" "\" ,如果直接使用是不行的,另外一个方面我们输入的regex是以字符串形式传递的,对有些字符必须要转义,尤其是"\",下面请看例子

String[] aa = "aaa|bbb|ccc".split("|");//wrong
String[] aa = "aaa|bbb|ccc".split("\\|"); //

 String[] aa = "aaa*bbb*ccc".split("*");//wrong
 String[] aa = "aaa|bbb|ccc".split("\\*");

 String[] aa = "aaa*bbb*ccc".split(".");//wrong
 String[] aa = "aaa|bbb|ccc".split("\\.");

String[] aa = "aaa\\bbb\\bccc".split("\\");//wrong

String[] aa = "aaa\\bbb\\bccc".split("\\\\");

2.数组长度的问题

String a = "";
String[] b = a.split(",");
b.length为 1；
*
String a = "c";
String[] b = a.split(",");
b.length为 1；
**
String a = "c,,,";
String[] b = a.split(",");
b.length为 1；
***
String a = "c,,c";
String[] b = a.split(",");
b.length为 3；
****
String a = ",";
String[] b = a.split(",");
b.length为 0；

其实只要添加一个参数即可,例如

String str = "abcdef,ghijk,lmno,pqrst,,,";       

String[] array = str.split(",");
输出:abcdef,ghijk,lmno,pqrst,

String str = "abcdef,ghijk,lmno,pqrst,,,";
String[] array = str.split(",",-1);

输出:abcdef,ghijk,lmno,pqrst,,,,

public String [] split (String  regex, int limit) 

最后一个参数limit是影响返回数组的长度的

=========================请关注红色字体(括号内为注释)==========================================

public String[] split(String regex)

根据给定的正则表达式的匹配来拆分此字符串。

该方法的作用就像是使用给定的表达式和限制参数 0 来调用两参数 split 方法。因此，结果数组中不包括结尾空字符串(直接使用会造成数组大小问题)。

例如，字符串 "boo:and:foo" 产生带有下面这些表达式的结果：

Regex	结果
:	{ "boo", "and", "foo" }
o	{ "b", "", ":and:f" }

 

参数：

regex - 定界正则表达式

返回：

字符串数组，根据给定正则表达式的匹配来拆分此字符串，从而生成此数组。

public String[] split(String regex,
                      int limit)

根据匹配给定的正则表达式来拆分此字符串。

此方法返回的数组包含此字符串的每个子字符串，这些子字符串由另一个匹配给定的表达式的子字符串终止或由字符串结束来终止。数组中的子字符串按它们在此字符串中的顺序排列。如果表达式不匹配输入的任何部分，则结果数组只具有一个元素，即此字符串。

limit 参数控制模式应用的次数，因此影响结果数组的长度。如果该限制 n 大于 0，则模式将被最多应用 n - 1 次，数组的长度将不会大于 n，而且数组的最后项将包含超出最后匹配的定界符的所有输入。如果 n 为非正，则模式将被应用尽可能多的次数，而且数组可以是任意长度。如果 n 为零，则模式将被应用尽可能多的次数，数组可有任何长度，并且结尾空字符串将被丢弃。

例如，字符串 "boo:and:foo" 使用这些参数可生成下列结果：

Regex	Limit	结果
:	2	{ "boo", "and:foo" }
:	5	{ "boo", "and", "foo" }
:	-2	{ "boo", "and", "foo" }
o	5	{ "b", "", ":and:f", "", "" }
o	-2	{ "b", "", ":and:f", "", "" }
o	0	{ "b", "", ":and:f" }

这种形式的方法调用 str.split(regex, n) 产生与以下表达式完全相同的结果：

Pattern.compile(regex).split(str, n)

 

参数：

regex - 定界正则表达式

limit - 结果阈值，如上所述

返回：

字符串数组，根据给定正则表达式的匹配来拆分此字符串，从而生成此数组

  List<Calendar> l = new ArrayList<Calendar>(); 
       while (true) {         
   l.add(Calendar.getInstance()); 
           System.out.println(l.size());   
     }           
  605473   
     Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   
         at java.util.Calendar.<init>(Unknown Source) 
           at java.util.GregorianCalendar.<init>(Unknown Source)
            at java.util.Calendar.createCalendar(Unknown Source)
            at java.util.Calendar.getInstance(Unknown Source)
            at jodatestmemory.Main.main(Main.java:25)