2008年7月10日随笔档案 - Java心路

2008年7月10日

tlisten冲突导致tmboot无法启动的解决方案

当Tuxedo的MP环境下tmbooty时一台机器提示：

exec BBL -A :
on SITE2 -> CMDTUX_CAT:814: ERROR: Cannot propagate TUXCONFIG file

tmboot: WARN: No BBL available on site SITE2.
Will not attempt to boot server processes on that site.

ULOG中记录：

CMDTUX_CAT:1578: ERROR: Could not contact NLS on SITE2
132119.site1!tmboot.3098.1077068416.-2: CMDTUX_CAT:1576: ERROR: No NLS available for remote machine SITE2

有可能是tlisten端口冲突，需要登录到出错机器上ps -ef | grep tlisten查看当前tlisten的ip和port，是否与ubb中的一致，若不一致，则需要kill该进程或者清理ipc，否则需要登录到持有该进程的用户下kill操作。清理该进程后可能需要到$TUXDIR/bin下执行tlisten ip:port将该进程执行起来。

posted @ 2011-09-21 17:17 bisal 阅读(750) | 评论 (0) | 编辑收藏

win7下myeclipse/eclipse使用subclipse进行checkout时自动关闭问题

现象：WIN7 32bit，myeclipse/eclipse用subclipse插件，输入url进行checkout操作时，窗口自动关闭，从日志中看：

#
# An unexpected error has been detected by HotSpot Virtual Machine:
#
#  EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x3623804c, pid=1256, tid=8876
#
# Java VM: Java HotSpot(TM) Client VM (1.5.0_11-b03 mixed mode)
# Problematic frame:
# C  [libapr-1.dll+0x804c]
#

---------------  T H R E A D  ---------------

Current thread (0x34b66580):  JavaThread "ModalContext" [_thread_in_native, id=8876]

siginfo: ExceptionCode=0xc0000005, reading address 0x00000000

Registers:
EAX=0x36f3bb70, EBX=0x00000000, ECX=0x00000000, EDX=0x00000000
ESP=0x36228c74, EBP=0x36228c80, ESI=0x338ff0e8, EDI=0x00000000
EIP=0x3623804c, EFLAGS=0x00010246

Top of Stack: (sp=0x36228c74)
0x36228c74:   00000000 338ff0e8 36f3bb70 3622acac
0x36228c84:   361d1f32 3622aca8 36f3bb70 00000000
0x36228c94:   00000000 00000000 338ff0e8 36f3bb70
0x36228ca4:   00000000 36f3bb70 00000000 36f3bb70
0x36228cb4:   36f3bc10 6eec84f1 36f3bb70 00000010
0x36228cc4:   6ee40000 6eec11f2 36f3bb70 36f3bc10
0x36228cd4:   6eec1210 6eec8610 36f3bb70 36f3bbc0
0x36228ce4:   36f3bb70 36f3bb70 00000000 003a0043 

Instructions: (pc=0x3623804c)
0x3623803c:   89 55 10 53 8b 5d 14 56 57 85 db 75 03 8b 58 18
0x3623804c:   8b 03 bf 01 00 00 00 3b c7 0f 82 1a 01 00 00 8b 


Stack: [0x361f0000,0x36230000),  sp=0x36228c74,  free space=227k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
C  [libapr-1.dll+0x804c]
C  [libapriconv-1.dll+0x1f32]
C  [libapriconv-1.dll+0x1da4]
C  [_tbl_simple.so+0x123b]
C  [_tbl_simple.so+0x11c4]

Java frames: (J=compiled Java code, j=interpreted, Vv=VM code)
j  org.tigris.subversion.javahl.SVNClient.info2(Ljava/lang/String;Lorg/tigris/subversion/javahl/Revision;Lorg/tigris/subversion/javahl/Revision;Z)[Lorg/tigris/subversion/javahl/Info2;+0
j  org.tigris.subversion.svnclientadapter.javahl.AbstractJhlClientAdapter.getInfo(Lorg/tigris/subversion/svnclientadapter/SVNUrl;Lorg/tigris/subversion/svnclientadapter/SVNRevision;Lorg/tigris/subversion/svnclientadapter/SVNRevision;)Lorg/tigris/subversion/svnclientadapter/ISVNInfo;+55
j  org.tigris.subversion.svnclientadapter.AbstractClientAdapter.getInfo(Lorg/tigris/subversion/svnclientadapter/SVNUrl;)Lorg/tigris/subversion/svnclientadapter/ISVNInfo;+8
j  org.tigris.subversion.subclipse.core.repo.SVNRepositoryLocation.validateConnection(Lorg/eclipse/core/runtime/IProgressMonitor;)V+10
j  org.tigris.subversion.subclipse.ui.wizards.NewLocationWizard$1.run(Lorg/eclipse/core/runtime/IProgressMonitor;)V+7
j  org.eclipse.jface.operation.ModalContext$ModalContextThread.run()V+15
v  ~StubRoutines::call_stub

---------------  P R O C E S S  ---------------

Java Threads: ( => current thread )
=>0x34b66580 JavaThread "ModalContext" [_thread_in_native, id=8876]
  0x34b66eb0 JavaThread "MyEclipse Thread" [_thread_blocked, id=11180]
  0x34b67038 JavaThread "Device List Monitor" daemon [_thread_in_native, id=11028]
  0x34b66ba0 JavaThread "Cleanup" daemon [_thread_in_native, id=9740]
  0x34b663f8 JavaThread "Worker-2" [_thread_blocked, id=8772]
  0x34c62038 JavaThread "Monitor" daemon [_thread_in_native, id=11660]
  0x349ce678 JavaThread "org.eclipse.jdt.internal.ui.text.JavaReconciler" daemon [_thread_blocked, id=7664]
  0x348fe8e0 JavaThread "Java indexing" daemon [_thread_blocked, id=4916]
  0x33ee2710 JavaThread "Worker-0" [_thread_blocked, id=3028]
  0x33d05070 JavaThread "Start Level Event Dispatcher" daemon [_thread_blocked, id=11564]
  0x33d04cc0 JavaThread "Framework Event Dispatcher" daemon [_thread_blocked, id=2168]
  0x33d598e8 JavaThread "State Data Manager" daemon [_thread_blocked, id=4476]
  0x012dfd80 JavaThread "Low Memory Detector" daemon [_thread_blocked, id=10552]
  0x012df7f0 JavaThread "CompilerThread0" daemon [_thread_blocked, id=4468]
  0x012deb88 JavaThread "Signal Dispatcher" daemon [_thread_blocked, id=5136]
  0x012bc0c8 JavaThread "Finalizer" daemon [_thread_blocked, id=11928]
  0x012bb450 JavaThread "Reference Handler" daemon [_thread_blocked, id=1272]
  0x005da8c8 JavaThread "main" [_thread_in_native, id=7440]

Other Threads:
  0x012b7450 VMThread [id=6572]
  0x005debb8 WatcherThread [id=6788]

VM state:not at safepoint (normal execution)

VM Mutex/Monitor currently owned by a thread: None

Heap
 def new generation   total 9152K, used 3910K [0x035b0000, 0x03f90000, 0x05d10000)
  eden space 8192K,  36% used [0x035b0000, 0x03891aa0, 0x03db0000)
  from space 960K,  99% used [0x03ea0000, 0x03f8fff8, 0x03f90000)
  to   space 960K,   0% used [0x03db0000, 0x03db0000, 0x03ea0000)
 tenured generation   total 121024K, used 65097K [0x05d10000, 0x0d340000, 0x235b0000)
   the space 121024K,  53% used [0x05d10000, 0x09ca26c8, 0x09ca2800, 0x0d340000)
 compacting perm gen  total 131072K, used 56037K [0x235b0000, 0x2b5b0000, 0x335b0000)
   the space 131072K,  42% used [0x235b0000, 0x26c694b8, 0x26c69600, 0x2b5b0000)
No shared spaces configured.

Dynamic libraries:
0x00400000 - 0x0040d000 	D:\MyEclipse\jre\bin\javaw.exe
0x77420000 - 0x7755d000 	C:\Windows\SYSTEM32\ntdll.dll
0x75920000 - 0x759f4000 	C:\Windows\system32\kernel32.dll
0x755f0000 - 0x7563a000 	C:\Windows\system32\KERNELBASE.dll
0x762a0000 - 0x76340000 	C:\Windows\system32\ADVAPI32.dll
0x75870000 - 0x7591c000 	C:\Windows\system32\msvcrt.dll
0x77590000 - 0x775a9000 	C:\Windows\SYSTEM32\sechost.dll
0x75c80000 - 0x75d21000 	C:\Windows\system32\RPCRT4.dll
0x77150000 - 0x77219000 	C:\Windows\system32\USER32.dll
0x763c0000 - 0x7640e000 	C:\Windows\system32\GDI32.dll
0x77570000 - 0x7757a000 	C:\Windows\system32\LPK.dll
0x77220000 - 0x772bd000 	C:\Windows\system32\USP10.dll
0x75a00000 - 0x75a1f000 	C:\Windows\system32\IMM32.DLL
0x75bb0000 - 0x75c7c000 	C:\Windows\system32\MSCTF.dll
0x6d640000 - 0x6d7dd000 	D:\MyEclipse\jre\bin\client\jvm.dll
0x73c10000 - 0x73c42000 	C:\Windows\system32\WINMM.dll
0x75470000 - 0x754bb000 	C:\Windows\system32\apphelp.dll
0x6d290000 - 0x6d298000 	D:\MyEclipse\jre\bin\hpi.dll
0x77560000 - 0x77565000 	C:\Windows\system32\PSAPI.DLL
0x6d610000 - 0x6d61c000 	D:\MyEclipse\jre\bin\verify.dll
0x6d310000 - 0x6d32d000 	D:\MyEclipse\jre\bin\java.dll
0x6d630000 - 0x6d63f000 	D:\MyEclipse\jre\bin\zip.dll
0x72000000 - 0x72012000 	D:\MyEclipse\eclipse\plugins\org.eclipse.equinox.launcher.win32.win32.x86_1.0.1.R33x_v20070828\eclipse_1020.dll
0x72d30000 - 0x72db4000 	C:\Windows\WinSxS\x86_microsoft.windows.common-controls_6595b64144ccf1df_5.82.7600.16661_none_ebfb56996c72aefc\COMCTL32.dll
0x74a70000 - 0x74a79000 	C:\Windows\system32\VERSION.dll
0x74450000 - 0x74490000 	C:\Windows\system32\uxtheme.dll
0x33ff0000 - 0x3404e000 	C:\Program Files\360\360Safe\safemon\safemon.dll
0x76410000 - 0x77059000 	C:\Windows\system32\SHELL32.dll
0x76070000 - 0x760c7000 	C:\Windows\system32\SHLWAPI.dll
0x772c0000 - 0x7741c000 	C:\Windows\system32\ole32.dll
0x77060000 - 0x770ef000 	C:\Windows\system32\OLEAUT32.dll
0x62800000 - 0x62866000 	C:\Windows\system32\MSVCP60.dll
0x75e30000 - 0x75e65000 	C:\Windows\system32\WS2_32.dll
0x77580000 - 0x77586000 	C:\Windows\system32\NSI.dll
0x745d0000 - 0x7476e000 	C:\Windows\WinSxS\x86_microsoft.windows.common-controls_6595b64144ccf1df_6.0.7600.16661_none_420fe3fa2b8113bd\Comctl32.dll
0x754c0000 - 0x754cc000 	C:\Windows\system32\CRYPTBASE.dll
0x775c0000 - 0x77643000 	C:\Windows\system32\CLBCatQ.DLL
0x6d4d0000 - 0x6d4e3000 	D:\MyEclipse\jre\bin\net.dll
0x74fb0000 - 0x74fec000 	C:\Windows\system32\mswsock.dll
0x74fa0000 - 0x74fa6000 	C:\Windows\System32\wship6.dll
0x6d4f0000 - 0x6d4f9000 	D:\MyEclipse\jre\bin\nio.dll
0x343c0000 - 0x3440f000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\505\1\.cp\swt-win32-3346.dll
0x76340000 - 0x763bb000 	C:\Windows\system32\comdlg32.dll
0x75d30000 - 0x75e25000 	C:\Windows\system32\WININET.dll
0x75a20000 - 0x75b56000 	C:\Windows\system32\urlmon.dll
0x75660000 - 0x7577c000 	C:\Windows\system32\CRYPT32.dll
0x755e0000 - 0x755ec000 	C:\Windows\system32\MSASN1.dll
0x75e70000 - 0x7606a000 	C:\Windows\system32\iertutil.dll
0x74120000 - 0x74133000 	C:\Windows\system32\dwmapi.dll
0x34440000 - 0x34448000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\435\1\.cp\os\win32\x86\localfile_1_0_0.dll
0x73ad0000 - 0x73b0c000 	C:\Windows\system32\oleacc.dll
0x35ae0000 - 0x35af4000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\505\1\.cp\swt-gdip-win32-3346.dll
0x742c0000 - 0x74450000 	C:\Windows\WinSxS\x86_microsoft.windows.gdiplus_6595b64144ccf1df_1.1.7600.16385_none_72fc7cbf861225ca\gdiplus.dll
0x74ff0000 - 0x75006000 	C:\Windows\system32\CRYPTSP.dll
0x74d70000 - 0x74dab000 	C:\Windows\system32\rsaenh.dll
0x75560000 - 0x7556e000 	C:\Windows\system32\RpcRtRemote.dll
0x674b0000 - 0x674de000 	C:\Windows\system32\mlang.dll
0x74bd0000 - 0x74be7000 	C:\Windows\system32\USERENV.dll
0x75570000 - 0x7557b000 	C:\Windows\system32\profapi.dll
0x74b00000 - 0x74b05000 	C:\Windows\System32\wshtcpip.dll
0x74e70000 - 0x74eb4000 	C:\Windows\system32\DNSAPI.dll
0x711d0000 - 0x711f1000 	C:\Program Files\Bonjour\mdnsNSP.dll
0x73a00000 - 0x73a1c000 	C:\Windows\system32\Iphlpapi.DLL
0x739f0000 - 0x739f7000 	C:\Windows\system32\WINNSI.DLL
0x70fa0000 - 0x70fa6000 	C:\Windows\system32\rasadhlp.dll
0x73240000 - 0x73278000 	C:\Windows\System32\fwpuclnt.dll
0x739e0000 - 0x739e5000 	C:\Windows\system32\msimg32.dll
0x738d0000 - 0x738e0000 	C:\Windows\system32\NLAapi.dll
0x6f780000 - 0x6f790000 	C:\Windows\system32\napinsp.dll
0x6f740000 - 0x6f752000 	C:\Windows\system32\pnrpnsp.dll
0x6f790000 - 0x6f79d000 	C:\Windows\system32\wshbth.dll
0x6f770000 - 0x6f778000 	C:\Windows\System32\winrnr.dll
0x6d4c0000 - 0x6d4c8000 	D:\MyEclipse\jre\bin\management.dll
0x6eec0000 - 0x6eee1000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\libapr.dll
0x6ee50000 - 0x6ee59000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\libapriconv.dll
0x365a0000 - 0x366a8000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\libeay32.dll
0x712b0000 - 0x712b7000 	C:\Windows\system32\WSOCK32.dll
0x36710000 - 0x367d4000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\libdb44.dll
0x364e0000 - 0x36511000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\ssleay32.dll
0x6ee60000 - 0x6ee89000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\libaprutil.dll
0x36520000 - 0x36532000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\intl3_svn.dll
0x37890000 - 0x37999000 	D:\MyEclipse\eclipse\configuration\org.eclipse.osgi\bundles\588\1\.cp\libsvnjavahl-1.dll
0x70920000 - 0x70925000 	C:\Windows\system32\SHFOLDER.dll
0x6ee40000 - 0x6ee45000 	C:\Program Files\Subversion\iconv\_tbl_simple.so
0x361d0000 - 0x361d9000 	C:\Program Files\Subversion\bin\libapriconv-1.dll
0x36230000 - 0x36252000 	C:\Program Files\Subversion\bin\libapr-1.dll

VM Arguments:
jvm_args: -Xms128m -Xmx512m -Duser.language=en -XX:PermSize=128M -XX:MaxPermSize=256M
java_command: D:\MyEclipse\eclipse\plugins\org.eclipse.equinox.launcher_1.0.1.R33x_v20070828.jar -os win32 -ws win32 -arch x86 -showsplash -launcher D:\MyEclipse\eclipse\eclipse.exe -name Eclipse --launcher.library D:\MyEclipse\eclipse\plugins\org.eclipse.equinox.launcher.win32.win32.x86_1.0.1.R33x_v20070828\eclipse_1020.dll -startup D:\MyEclipse\eclipse\plugins\org.eclipse.equinox.launcher_1.0.1.R33x_v20070828.jar -exitdata 2178_a4 -vm D:\MyEclipse\jre\bin\javaw.exe -vmargs -Xms128m -Xmx512m -Duser.language=en -XX:PermSize=128M -XX:MaxPermSize=256M -jar D:\MyEclipse\eclipse\plugins\org.eclipse.equinox.launcher_1.0.1.R33x_v20070828.jar
Launcher Type: SUN_STANDARD

Environment Variables:
JAVA_HOME=D:\JAVA\jdk1.6
CLASSPATH=.;D:\JAVA\jdk1.6\lib\tools.jar;D:\JAVA\jdk1.6\lib\dt.jar;C:\Program Files\Sun\JavaDB\lib\derbytools.jar;C:\Program Files\Sun\JavaDB\lib\derby.jar;C:\Program Files\Subversion\bin;D:\JAVA\jre1.6\lib\ext\QTJava.zip
PATH=C:\oracle10g\product\10.2.0\db_1\bin;C:\Oracle\Ora92\bin\bin;C:\Program Files\Oracle\jre\1.3.1\bin;C:\Program Files\Oracle\jre\1.1.8\bin;D:\JAVA\jdk1.6\bin;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\DMIX;C:\Program Files\Intel\WiFi\bin\;C:\Program Files\Common Files\Intel\WirelessCommon\;C:\Program Files\Hewlett-Packard\OpenView\service desk 4.5\client\bin;C:\Program Files\Sun\JavaDB\bin;C:\Program Files\Subversion\bin;C:\Program Files\QuickTime\QTSystem\;C:\Program Files\IDM Computer Solutions\UltraEdit\
USERNAME=Bill
OS=Windows_NT
PROCESSOR_IDENTIFIER=x86 Family 6 Model 37 Stepping 5, GenuineIntel



---------------  S Y S T E M  ---------------

OS: Windows NT 6.1 Build 7600 

CPU:total 4 (cores per cpu 8, threads per core 2) family 6 model 5 stepping 5, cmov, cx8, fxsr, mmx, sse, sse2, ht

Memory: 4k page, physical 2097151k(962372k free), swap 4194303k(2784484k free)

vm_info: Java HotSpot(TM) Client VM (1.5.0_11-b03) for windows-x86, built on Dec 15 2006 01:16:12 by "java_re" with MS VC++ 6.0

网上说是subversion有冲突，但我尝试xp版本没问题，估计可能是win7、eclipse、sublicpse和subversion之间可能有冲突，解决方法是：

将系统的环境变量 APR_ICONV_PATH改为APR_ICONV1_PATH

论坛里说：

Subclipse can crash on Windows if you have the environment variable
APR_ICONV_PATH set and it is pointing at a set of libraries that were
built against Apache 2.2. If that is the case, change the environment
variable name to APR_ICONV1_PATH and that will fix the problem. The
libraries from 2.2 will look for the variable with the "1" in it first
anyway. So this is a proper change to make.

If you want to be thorough, you could download the zip file for
Subversion 1.4.3, and point the APR_ICONV_PATH variable at the iconv
folder that came with it.

但这里的问题似乎与Apache2.2以及subversion无关，因为自己用的时subversion1.6，且win7和win xp之间不同，所以还是觉得是win7版本的问题。。。如果有哪位高人也曾遇到过或知道详解，还请告知，谢谢！

posted @ 2011-09-15 18:09 bisal 阅读(1088) | 评论 (0) | 编辑收藏

向Oracle插入timestamp类型字段

如果是中文字符集：

[TEST@ora10gr1#2009-11-25/08:39:38]

SQL>create table t1(t timestamp);

Table created.

[TEST@ora10gr1#2009-11-25/08:39:56]

SQL>insert into t1 values(to_timestamp('21NOV09 10:04:12.032','DDMONYY HH24:MI:SS.FF'));

* ERROR at line 1: ORA-01843: not a valid month

应该指定用american字符集插入就对了：

[TEST@ora10gr1#2009-11-25/08:39:56]

SQL>insert into t1 values(to_timestamp('21NOV09 10:04:12.032','DDMONYY HH24:MI:SS.FF','nls_date_language=american'));

1 row created.

posted @ 2009-11-26 09:22 bisal 阅读(3293) | 评论 (0) | 编辑收藏

Cloud Compute

最近，Cloud Compute，也就是“云计算”备受关注，或者说是因为一些大厂商铺天盖地的宣传才导致自web2.0以来又一个互联网应用的new wave。。。

首先，扫下盲，啥时云计算？云计算是一个虚拟化的计算机资源池，也是一种新的IT资源提供模式，可以简单地将他理解成一个数据中心，这个数据中心的计算机可以自动地管理和动态的分配、部署、配置、重新配置以及回收资源，也可以自动安装软件和应用。云计算的构成包括硬件、软件和服务。硬件主要是x86或Power的及其。软件包括管理计算机自动化的软件，以及被管理的软件。

之前说了，各大厂商对于云计算的重视才将这个名词拖到互联网的最前端，例如Amazon的EC2，Google的GAE，IBM的blue cloud，Yahoo!的Hadoop(其实IBM也采用了这种架构)，微软的SCOPE，以及SUN的black box计划。

Amzaon的EC2的应用似乎时间最长，也是大众最能感受到的云计算，值得一提的是，Oracle CEO，Larry曾经在open world中说云计算多么多么的没用，但同时，Oracle就宣称与Amazone合作推出了融合中间件。。。

IBM也和Google合作建立了一个用于云计算的大型数据中心，要说云计算，可能互联网就是一个最大的云，换句话说，Google更是这个大云的最大受益者，也许它们也应该感谢十年前微软的错误定位，没有将互联网放在眼里，只是专做desktop。。。Google没有自己的服务器，但IBM有强大的Power PC，强强联合自然更加厉害。。。

Microsoft这次估计也是不想再次重蹈覆辙，也投身于云计算的研究中，Midori计划是一个微软基于云计算开发的操作系统，云计算，自然要结合到微软的看家之宝Windows上，其核心是可以让其运行在任何设备上，因为几乎所有的云计算都是免费的，所以有人说Midori也许是第一套微软开发的免费操作系统，呵呵。。。

但我觉得最感兴趣的，就是Sun的black box计划，下图展示的便是black box计划，与IBM相比，Sun也有着高性能服务器领域的优势，Ultra SPARC处理器和Solaris操作系统，black box，从字面意思解释，就是黑盒子，这种黑盒子即可以为拥有上万名员工的大型公司服务，也能为中小企业提供支持，其移动和方便部署的特性，也能用于在后救援等工作。黑盒子位于标准的20英尺长的集装箱内，容纳了数量众多的服务器集群，黑盒子的部署很简单，只要接入电缆、水龙头(水冷散热)和网络线缆，黑盒子便可以投入运作，它可以安置在仓库角落、大楼停车场、楼顶天台或是某个荒郊野岭，是不是很酷？呵呵

posted @ 2008-12-21 01:12 bisal 阅读(372) | 评论 (0) | 编辑收藏

robots协议标准

    前两天刚知道用爬虫抓取page有个协议的问题，尤其是对于open source的爬虫，刚看到一篇blog，写的就是如此，难怪之前看google的robots也和另外一个U.S.的网站相同，感情是大家都商量好了，可能这方面中国的一些站点这种意识要稍微淡一点。。。同时这也害得毕设还得另谋思路。。。

    搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布，共同遵守的 robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。

三家都支持的robots文件记录包括：

Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：

User-agent: *

Disallow: /

Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：

User-agent: *

Disallow: /ab/

Allow: /ab

$通配符 - 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：

User-agent: *

Allow: .htm$

*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：

User-agent: *

Disallow: /*.htm

Sitemaps位置 - 告诉蜘蛛你的网站地图在哪里，格式为：Sitemap: <sitemap_XXXXXX>

三家都支持的Meta标签包括：

NOINDEX - 告诉蜘蛛不要索引某个网页。

NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。

NOSNIPPET - 告诉蜘蛛不要在搜索结果中显示说明文字。

NOARCHIVE - 告诉蜘蛛不要显示快照。

NOODP - 告诉蜘蛛不要使用开放目录中的标题和说明。

上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。

只有Google支持的Meta标签有：

UNAVAILABLE_AFTER - 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。

NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。

NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。

雅虎还支持Meta标签：

Crawl-Delay - 允许蜘蛛延时抓取的频率。

NOYDIR - 和NOODP标签相似，但是指雅虎目录，而不是开放目录。

Robots-nocontent - 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容（想被检索的内容）。

MSN还支持Meta标签：Crawl-Delay

    另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。

posted @ 2008-07-29 14:53 bisal 阅读(687) | 评论 (0) | 编辑收藏

oracle 10g express edition安装删除心得。。。

     由于要使用ODM，最好还是装个oracle，但可能由于本科时使用过oracle 9i的缘故，搞的现在还是好担心它的运行情况，所以下了个Oracle 10g的Express Edition，只有200多MB，比标准版小得多，但目前还不知道它对ODM工具的支持情况。。。
     第一次装Oracle 10g Express Edition的时候，由于可能是有tomcat和Heritrix占用了8080端口，导致装的过程中提示错误，没太在意，但无法启动主页面，查了资料，一种说法是改掉其它占用8080端口的软件，一种是改oracle的端口，照着做了一下，两种方法都试了，但依旧无法启动oracle，期间报了两种错误：
1、ORA-01034: ORACLE not available
    ORA-27101: shared memory realm does not exist
2、ORA-01033:   ORACLE   initialization   or   shutdown   in   progress
     有的说是因为SID_NAME和SERVICE_NAME重复，或者是有多个实例，但改了没有起作用，所以最后决定重新安装，但新的问题出现了，这个版本果然是简版，连删除程序都没有。。。晕。。。直接删目录说有个dll文件无法访问，没办法直接删除，后来经晓晨的询问，确定了可以从注册表中删除的方法，先是删除了注册表中HEKY-LOCAL-MACHINE的SOFTWARE里与Oracle相关的，但重装时仍旧提示oracle的service在运行，即使在服务中停掉了，让然禁止删除。。。后来查了一下，得知服务需要在HKEY-LOCAL-MACHINE的SYSTEM-CurrentControlSet里的Services中删除与oracle相关的项，重启，重装，访问到10g的主页面，由于是简版，主页面是一个基于Web Page的。。。
     由于Oracle改默认端口比较麻烦，所以初学者最好还是装前将8080端口空出来，避免不必要的麻烦，但我觉得仍旧可以在装好oracle之后改它的默认端口，有些资料也是这样说的，有时间可以试一试，现在的问题是如何配合oracle使用Data Miner？如果哪位技术牛人有这方面的经验，希望可以与你们交流~
     最后，再次感谢晓晨！呵呵

我的qq：173635235
    msn：bisal1130@yahoo.com.cn

posted @ 2008-07-29 14:38 bisal 阅读(1965) | 评论 (3) | 编辑收藏

提问：Heritrix抓取问题

Heritrix应用问题 请教一下大家如何用heritrix抓取以下网站内容，需要定制么？

下面是USPTO的专利网页：
http://patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&u=%2Fnetahtml%2FPTO%2Fsearch-adv.htm&r=0&f=S&l=50&d=PTXT&OS=+%28battery+OR+motor%29+AND+automobile&RS=%28%28battery+OR+motor%29+AND+automobile%29&Query=+%28battery+OR+motor%29+AND+automobile&TD=45309&Srch1=%28%28battery+OR+motor%29+AND+automobile%29&NextList1=Next+50+Hits
其中NextList1表示第一个50条信息的页面，NextList2，NextList3，以此类推，在这些页面中点击每条超链接得到的是针对此条专利信息的具体页面，那么现在我如何设置heritrix，可以抓取到每页50条，一共几万条的这些具体专利信息页面到本地呢？另外可否抓取的同时将html 格式转换伪txt格式到本地？谢谢高手指点！

欢迎交流：
qq: 173635235
msn: bisal1130@yahoo.com.cn
email: bill1130@gmail.com

posted @ 2008-07-10 08:35 bisal 阅读(1052) | 评论 (1) | 编辑收藏

Java心路

tlisten冲突导致tmboot无法启动的解决方案

win7下myeclipse/eclipse使用subclipse进行checkout时自动关闭问题

向Oracle插入timestamp类型字段

Cloud Compute

robots协议标准

oracle 10g express edition安装删除心得。。。

提问：Heritrix抓取问题

导航

统计

常用链接

留言簿(4)

随笔档案

文章档案

相册

Java战友兄弟

常用技术交流平台

搜索

最新评论

阅读排行榜

评论排行榜