cc

随笔 - 20, 文章 - 0, 评论 - 1, 引用 - 0
数据加载中……

2009年7月10日

oracle 可以用判断某列 存储的是否是 数字的 asc 码 函数

select distinct ascii (字段)   from  表

posted @ 2010-11-24 16:25 cc 阅读(245) | 评论 (0)编辑 收藏

Linux 技巧:让进程在后台可靠运行的几种方法

文档选项
将打印机的版面设置成横向打印模式

打印本页

将此页作为电子邮件发送

将此页作为电子邮件发送


级别: 中级

申 毅 (shenyyi@cn.ibm.com), 软件工程师, IBM 中国软件开发中心

2008 年 5 月 29 日

想让进程在断开连接后依然保持运行?如果该进程已经开始运行了该如何补救? 如果有大量这类需求如何简化操作?

我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢?下面举了一些例子, 您可以针对不同的场景选择不同的方式来处理这个问题。

nohup/setsid/&

场景:

如果只是临时有一个命令需要长时间运行,什么方法能最简便的保证它在后台稳定运行呢?

hangup 名称的来由
在 Unix 的早期版本中,每个终端都会通过 modem 和系统通讯。当用户 logout 时,modem 就会挂断(hang up)电话。 同理,当 modem 断开连接时,就会给终端发送 hangup 信号来通知其关闭所有子进程。

解决方法:

我们知道,当用户注销(logout)或者网络断开时,终端会收到 HUP(hangup)信号从而关闭其所有子进程。因此,我们的解决办法就有两种途径:要么让进程忽略 HUP 信号,要么让进程运行在新的会话里从而成为不属于此终端的子进程。

1. nohup

nohup 无疑是我们首先想到的办法。顾名思义,nohup 的用途就是让提交的命令忽略 hangup 信号。让我们先来看一下 nohup 的帮助信息:

NOHUP(1)                        User Commands                        NOHUP(1)
                        NAME
                        nohup - run a command immune to hangups, with output to a non-tty
                        SYNOPSIS
                        nohup COMMAND [ARG]...
                        nohup OPTION
                        DESCRIPTION
                        Run COMMAND, ignoring hangup signals.
                        --help display this help and exit
                        --version
                        output version information and exit 

可见,nohup 的使用是十分方便的,只需在要处理的命令前加上 nohup 即可,标准输出和标准错误缺省会被重定向到 nohup.out 文件中。一般我们可在结尾加上"&"来将命令同时放入后台运行,也可用">filename 2>&1"来更改缺省的重定向文件名。


nohup 示例
                        [root@pvcent107 ~]# nohup ping www.ibm.com &
                        [1] 3059
                        nohup: appending output to `nohup.out'
                        [root@pvcent107 ~]# ps -ef |grep 3059
                        root      3059   984  0 21:06 pts/3    00:00:00 ping www.ibm.com
                        root      3067   984  0 21:06 pts/3    00:00:00 grep 3059
                        [root@pvcent107 ~]#	 

2。setsid

nohup 无疑能通过忽略 HUP 信号来使我们的进程避免中途被中断,但如果我们换个角度思考,如果我们的进程不属于接受 HUP 信号的终端的子进程,那么自然也就不会受到 HUP 信号的影响了。setsid 就能帮助我们做到这一点。让我们先来看一下 setsid 的帮助信息:

SETSID(8)                 Linux Programmer’s Manual                 SETSID(8)
                        NAME
                        setsid - run a program in a new session
                        SYNOPSIS
                        setsid program [ arg ... ]
                        DESCRIPTION
                        setsid runs a program in a new session. 

可见 setsid 的使用也是非常方便的,也只需在要处理的命令前加上 setsid 即可。


setsid 示例
                        [root@pvcent107 ~]# setsid ping www.ibm.com
                        [root@pvcent107 ~]# ps -ef |grep www.ibm.com
                        root     31094     1  0 07:28 ?        00:00:00 ping www.ibm.com
                        root     31102 29217  0 07:29 pts/4    00:00:00 grep www.ibm.com
                        [root@pvcent107 ~]#   

值得注意的是,上例中我们的进程 ID(PID)为31094,而它的父 ID(PPID)为1(即为 init 进程 ID),并不是当前终端的进程 ID。请将此例与nohup 例中的父 ID 做比较。

3。&

这里还有一个关于 subshell 的小技巧。我们知道,将一个或多个命名包含在“()”中就能让这些命令在子 shell 中运行中,从而扩展出很多有趣的功能,我们现在要讨论的就是其中之一。

当我们将"&"也放入“()”内之后,我们就会发现所提交的作业并不在作业列表中,也就是说,是无法通过jobs来查看的。让我们来看看为什么这样就能躲过 HUP 信号的影响吧。


subshell 示例
                        [root@pvcent107 ~]# (ping www.ibm.com &)
                        [root@pvcent107 ~]# ps -ef |grep www.ibm.com
                        root     16270     1  0 14:13 pts/4    00:00:00 ping www.ibm.com
                        root     16278 15362  0 14:13 pts/4    00:00:00 grep www.ibm.com
                        [root@pvcent107 ~]#   

从上例中可以看出,新提交的进程的父 ID(PPID)为1(init 进程的 PID),并不是当前终端的进程 ID。因此并不属于当前终端的子进程,从而也就不会受到当前终端的 HUP 信号的影响了。





回页首


disown

场景:

我们已经知道,如果事先在命令前加上 nohup 或者 setsid 就可以避免 HUP 信号的影响。但是如果我们未加任何处理就已经提交了命令,该如何补救才能让它避免 HUP 信号的影响呢?

解决方法:

这时想加 nohup 或者 setsid 已经为时已晚,只能通过作业调度和 disown 来解决这个问题了。让我们来看一下 disown 的帮助信息:

disown [-ar] [-h] [jobspec ...]
                        Without options, each jobspec is  removed  from  the  table  of
                        active  jobs.   If  the -h option is given, each jobspec is not
                        removed from the table, but is marked so  that  SIGHUP  is  not
                        sent  to the job if the shell receives a SIGHUP.  If no jobspec
                        is present, and neither the -a nor the -r option  is  supplied,
                        the  current  job  is  used.  If no jobspec is supplied, the -a
                        option means to remove or mark all jobs; the -r option  without
                        a  jobspec  argument  restricts operation to running jobs.  The
                        return value is 0 unless a jobspec does  not  specify  a  valid
                        job.

可以看出,我们可以用如下方式来达成我们的目的。

灵活运用 CTRL-z
在我们的日常工作中,我们可以用 CTRL-z 来将当前进程挂起到后台暂停运行,执行一些别的操作,然后再用 fg 来将挂起的进程重新放回前台(也可用 bg 来将挂起的进程放在后台)继续运行。这样我们就可以在一个终端内灵活切换运行多个任务,这一点在调试代码时尤为有用。因为将代码编辑器挂起到后台再重新放回时,光标定位仍然停留在上次挂起时的位置,避免了重新定位的麻烦。
  • disown -h jobspec 来使某个作业忽略HUP信号。
  • disown -ah 来使所有的作业都忽略HUP信号。
  • disown -rh 来使正在运行的作业忽略HUP信号。

需要注意的是,当使用过 disown 之后,会将把目标作业从作业列表中移除,我们将不能再使用jobs来查看它,但是依然能够用ps -ef查找到它。

但是还有一个问题,这种方法的操作对象是作业,如果我们在运行命令时在结尾加了"&"来使它成为一个作业并在后台运行,那么就万事大吉了,我们可以通过jobs命令来得到所有作业的列表。但是如果并没有把当前命令作为作业来运行,如何才能得到它的作业号呢?答案就是用 CTRL-z(按住Ctrl键的同时按住z键)了!

CTRL-z 的用途就是将当前进程挂起(Suspend),然后我们就可以用jobs命令来查询它的作业号,再用bg jobspec 来将它放入后台并继续运行。需要注意的是,如果挂起会影响当前进程的运行结果,请慎用此方法。


disown 示例1(如果提交命令时已经用“&”将命令放入后台运行,则可以直接使用“disown”)
                        [root@pvcent107 build]# cp -r testLargeFile largeFile &
                        [1] 4825
                        [root@pvcent107 build]# jobs
                        [1]+  Running                 cp -i -r testLargeFile largeFile &
                        [root@pvcent107 build]# disown -h %1
                        [root@pvcent107 build]# ps -ef |grep largeFile
                        root      4825   968  1 09:46 pts/4    00:00:00 cp -i -r testLargeFile largeFile
                        root      4853   968  0 09:46 pts/4    00:00:00 grep largeFile
                        [root@pvcent107 build]# logout   


disown 示例2(如果提交命令时未使用“&”将命令放入后台运行,可使用 CTRL-z 和“bg”将其放入后台,再使用“disown”)
                        [root@pvcent107 build]# cp -r testLargeFile largeFile2
                        [1]+  Stopped                 cp -i -r testLargeFile largeFile2
                        [root@pvcent107 build]# bg %1
                        [1]+ cp -i -r testLargeFile largeFile2 &
                        [root@pvcent107 build]# jobs
                        [1]+  Running                 cp -i -r testLargeFile largeFile2 &
                        [root@pvcent107 build]# disown -h %1
                        [root@pvcent107 build]# ps -ef |grep largeFile2
                        root      5790  5577  1 10:04 pts/3    00:00:00 cp -i -r testLargeFile largeFile2
                        root      5824  5577  0 10:05 pts/3    00:00:00 grep largeFile2
                        [root@pvcent107 build]#   





回页首


screen

场景:

我们已经知道了如何让进程免受 HUP 信号的影响,但是如果有大量这种命令需要在稳定的后台里运行,如何避免对每条命令都做这样的操作呢?

解决方法:

此时最方便的方法就是 screen 了。简单的说,screen 提供了 ANSI/VT100 的终端模拟器,使它能够在一个真实终端下运行多个全屏的伪终端。screen 的参数很多,具有很强大的功能,我们在此仅介绍其常用功能以及简要分析一下为什么使用 screen 能够避免 HUP 信号的影响。我们先看一下 screen 的帮助信息:

SCREEN(1)                                                           SCREEN(1)
                        NAME
                        screen - screen manager with VT100/ANSI terminal emulation
                        SYNOPSIS
                        screen [ -options ] [ cmd [ args ] ]
                        screen -r [[pid.]tty[.host]]
                        screen -r sessionowner/[[pid.]tty[.host]]
                        DESCRIPTION
                        Screen  is  a  full-screen  window manager that multiplexes a physical
                        terminal between several  processes  (typically  interactive  shells).
                        Each  virtual  terminal provides the functions of a DEC VT100 terminal
                        and, in addition, several control functions from the  ISO  6429  (ECMA
                        48,  ANSI  X3.64)  and ISO 2022 standards (e.g. insert/delete line and
                        support for multiple character sets).  There is a  scrollback  history
                        buffer  for  each virtual terminal and a copy-and-paste mechanism that
                        allows moving text regions between windows.	

使用 screen 很方便,有以下几个常用选项:

  • screen -dmS session name 来建立一个处于断开模式下的会话(并指定其会话名)。
  • screen -list 来列出所有会话。
  • screen -r session name 来重新连接指定会话。
  • 用快捷键CTRL-a d 来暂时断开当前会话。

screen 示例
                        [root@pvcent107 ~]# screen -dmS Urumchi
                        [root@pvcent107 ~]# screen -list
                        There is a screen on:
                        12842.Urumchi   (Detached)
                        1 Socket in /tmp/screens/S-root.
                        [root@pvcent107 ~]# screen -r Urumchi	 

当我们用“-r”连接到 screen 会话后,我们就可以在这个伪终端里面为所欲为,再也不用担心 HUP 信号会对我们的进程造成影响,也不用给每个命令前都加上“nohup”或者“setsid”了。这是为什么呢?让我来看一下下面两个例子吧。


1. 未使用 screen 时新进程的进程树
                        [root@pvcent107 ~]# ping www.google.com &
                        [1] 9499
                        [root@pvcent107 ~]# pstree -H 9499
                        init─┬─Xvnc
                        ├─acpid
                        ├─atd
                        ├─2*[sendmail]
                        ├─sshd─┬─sshd───bash───pstree
                        │       └─sshd───bash───ping
                        

我们可以看出,未使用 screen 时我们所处的 bash 是 sshd 的子进程,当 ssh 断开连接时,HUP 信号自然会影响到它下面的所有子进程(包括我们新建立的 ping 进程)。


2. 使用了 screen 后新进程的进程树
                        [root@pvcent107 ~]# screen -r Urumchi
                        [root@pvcent107 ~]# ping www.ibm.com &
                        [1] 9488
                        [root@pvcent107 ~]# pstree -H 9488
                        init─┬─Xvnc
                        ├─acpid
                        ├─atd
                        ├─screen───bash───ping
                        ├─2*[sendmail]	

而使用了 screen 后就不同了,此时 bash 是 screen 的子进程,而 screen 是 init(PID为1)的子进程。那么当 ssh 断开连接时,HUP 信号自然不会影响到 screen 下面的子进程了。





回页首


总结

现在几种方法已经介绍完毕,我们可以根据不同的场景来选择不同的方案。nohup/setsid 无疑是临时需要时最方便的方法,disown 能帮助我们来事后补救当前已经在运行了的作业,而 screen 则是在大批量操作时不二的选择了。



参考资料



关于作者

 

申毅,IBM 中国软件开发中心 WebSphere Portal 部门软件工程师。




对本文的评价










回页首


IBM 公司保留在 developerWorks 网站上发表的内容的著作权。未经IBM公司或原始作者的书面明确许可,请勿转载。如果您希望转载,请通过 提交转载请求表单 联系我们的编辑团队。

posted @ 2009-07-29 16:48 cc 阅读(210) | 评论 (0)编辑 收藏

tr

1、关于tr
   通过使用 tr,您可以非常容易地实现 sed 的许多最基本功能。您可以将 tr 看作为 sed 的(极其)简化的变体:它可以用一个字符来替换另一个字符,或者可以完全除去一些字符。您也可以用它来除去重复字符。这就是所有 tr 所能够做的。
       tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要转换两个字符串:字符串1用于查询, 字符串2用于处理各种转换。tr刚执行时,字符串1中的字符被映射到字符串2中的字符,然后转换操作开始。
带有最常用选项的tr命令格式为:
tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"] < input-file
这里:
-c 用字符串1中字符集的补集替换此字符集,要求字符集为ASCII。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列,只保留第一个;即将重复出现字符串压缩为一个字符串。
input-file是转换文件名。虽然可以使用其他格式输入,但这种格式最常用。
2、字符范围
指定字符串1或字符串2的内容时,只能使用单字符或字符串范围或列表。
[a-z] a-z内的字符组成的字符串。
[A-Z] A-Z内的字符组成的字符串。
[0-9] 数字串。
\octal 一个三位的八进制数,对应有效的ASCII字符。
[O*n] 表示字符O重复出现指定次数n。因此[O*2]匹配OO的字符串。
tr中特定控制字符的不同表达方式
速记符含义八进制方式
\a Ctrl-G 铃声\007
\b Ctrl-H 退格符\010
\f Ctrl-L 走行换页\014
\n Ctrl-J 新行\012
\r Ctrl-M 回车\015
\t Ctrl-I tab键\011
\v Ctrl-X \030
3、应用例子
(1)去除oops.txt里面的重复的小写字符
tr -s "[a-z]"<oops.txt >result.txt
(2)删除空行
tr -s "[\012]" < plan.txt 或 tr -s ["\n"] < plan.txt
(3)有时需要删除文件中的^M,并代之以换行
tr -s "[\015]" "[\n]" < file 或 tr -s "[\r]" "[\n]" < file
(4)大写到小写
cat a.txt |tr "[a-z]" "[A-Z]" >b.txt
(5)删除指定字符
    一个星期的日程表。任务是从其中删除所有数字,只保留日期。日期有大写,也有小写格式。因此需指定两个字符范围[a-z]和[A-Z],命令tr -cs "[a-z][A-Z]" "[\012*]" 将文件每行所有不包含在[a-z]或[A-Z](所有希腊字母)的字符串放在字符串1中并转换为一新行。-s选项表明压缩所有新行, -c表明保留所有字母不动。原文件如下,后跟tr命令:
tr -cs "[a-z][A-Z]" "[\012*]" <diary.txt
(6)转换控制字符
    tr的第一个功能就是转换控制字符,特别是从dos向UNIX下载文件时,忘记设置ftp关于回车换行转换的选项时更是如此。cat -v filename 显示控制字符。
    cat -v stat.txt
    box aa^^^^^12^M
    apple bbas^^^^23^M
    ^Z
猜想‘^ ^ ^ ^ ^ ^’是tab键。每一行以Ctrl-M结尾,文件结尾Ctrl-Z,以下是改动方法。
使用-s选项,查看ASCII表。^的八进制代码是136,^M是015,tab键是011,^Z是032 ,下面将按步骤完成最终功能。
用tab键替换^ ^ ^ ^ ^ ^,命令为"\136" "[\011*]"。将结果重定向到临时工作文件stat.tmp
tr -s "[\136]" "[\011*]" <stat.txt >stat.tmp
用新行替换每行末尾的^M,并用\n去除^Z,输入要来自于临时工作文件stat.tmp。
tr -s "[\015][\032]" "\n" <stat.tmp
要删除所有的tab键,代之以空格,使用命令
tr -s "[\011]" "[\040*]" <input.file
(7)替换passwd文件中所有冒号,代之以tab键,可以增加可读性
tr -s "[:]" "[\011]" < /etc/passwd 或 tr -s "[:]" "[\t]" < /etc/passwd
(8)使路径具有可读性
    如果用 echo $PATH 或者 echo $LD_LIBRARY_PATH 等类似的命令来显示路径信息的话,我们看到的将会是一大堆用冒号连接在一起的路径, tr命令可以把这些冒号转换为回车,这样,这些路径就具有很好的可读性了
echo $PATH | tr ":" "\n"
(9)可以在vi内使用所有这些命令!只要记住:在tr命令前要加上您希望处理的行范围和感叹号 (!),如 1,$!tr -d '\t'(美元符号表示最后一行)。
(10)另外,当有人给您发送了一个在 Mac OS 或 DOS/Windows 机器上创建的文本文件时,您会发现tr非常有用。
    如果没有将文件保存为使用 UNIX 换行符来表示行结束这种格式,则需要将这样的文件转换成本机 UNIX 格式,否则一些命令实用程序不会正确地处理这些文件。Mac OS 的行尾以回车字符(\r)结束,许多文本处理工具将这样的文件作为一行来处理。为了纠正这个问题,可以用下列技巧:
Mac -> UNIX:tr "\r" "\n"<macfile > unixfile
UNIX -> Mac:tr "\n" "\r"<unixfile > macfile
Microsoft DOS/Windows 约定,文本的每行以回车字符(\r)并后跟换行符(\n)结束。为了纠正这个问题,可以使用下列命令:
DOS -> UNIX:tr -d "\r"<dosfile > unixfile
UNIX -> DOS:在这种情况下,需要用awk,因为tr不能插入两个字符来替换一个字符。要使用的 awk 命令为 awk '{ print $0"\r" }'<unixfile > dosfile

posted @ 2009-07-10 23:53 cc 阅读(205) | 评论 (0)编辑 收藏