我的家园

我的家园

Linux sed命令菜鸟入门

Posted on 2012-04-15 16:37 zljpp 阅读(704) 评论(0)  编辑  收藏

本文首先以一个简单的sed命令应用示例，说明如何使用sed命令进行文本处理，接着从sed命令的用法、工作原理、行地址模式以及sed命令支持的脚本命令详细介绍sed命令的用法。

 

一个完整的sed命令使用简单示例

    现在有一个待处理文件test.txt，文件中包含一系列的位图数据1和0，它们位于<Figure Begin>和<Figure End>之间，需要将它们写入一个单独的文件，并使用.FG <insert figure here> .FE替换着部分内容。替换输入文件中的<para> 标识为.LP并删除其下的空行。最后，删除输入文件中的所有空行。
处理文件内容如下：cat test.txt
[plain] view plaincopyprint?
  1. <para>  
  2.   
  3.   
  4. This is a test paragraph.  
  5.   
  6.   
  7. <Figure Begin>  
  8.   
  9.   
  10. 111111111111111101000000000000000000000000000000111111111111111111100000000  
  11. 000000000000000000000000000000000001111111111111111111111111111111111111111  
  12. 11111111111111111110000000000000000000  
  13.   
  14.   
  15. <Figure End>  
  16.   
  17.   
  18. <para>  
  19.   
  20.   
  21. MOre lines of text to be found after the figure.  
  22. These lines should print.  
 
sed脚本命令内容及解释如下：cat sedscr
[plain] view plaincopyprint?
  1. /<para>/{  
  2.     N                     #读入下一行,因为下一行为空行,  
  3.     c\                    #使用下面的内容替换模式空间中的内容,之所以使用N命令,也是想把<para>下面的空行删除  
  4. .LP  
  5. }  
  6. /<Figure Begin>/,/<Figure End>/{      #匹配<Figure Begin>到<Figure End>行之间的内容  
  7.     w fig.test                        #将这部分中的当前模式空间中的内容写入文件fig.test中,因为sed命令式按行读取文件内容的  
  8.     /<Figure End>/i\                  #在<Figure End>行前插入下面的内容  
  9. .FG\  
  10. <inset figure here>\  
  11. .FE  
  12.     d                                 #删除匹配的行,即删除模式空间中的内容，这样模式空间中的这部分内容不会被输出  
  13. }  
  14. /^$/d                     #删除所有空行  

sed脚本执行命令：sed -f sedscr test.txt 
sed脚本执行完成后输出内容如下：
[plain] view plaincopyprint?
  1. .LP  
  2. This is a test paragraph.  
  3. .FG  
  4. <inset figure here>  
  5. .FE  
  6. .LP  
  7. MOre lines of text to be found after the figure.  
  8. These lines should print.  

    上面简单演示了一个使用sed命令的实际例子，初学时看不懂没有关系，只需知道大概是这么个流程，然后下面会详细的解释sed命令的用法。

 

sed命令用法

sed[选项] {脚本 | 脚本文件} [输入文件]，其中[ ]表示可选，{}表示必须。

    首先将3个经常出现的选项解释如下：

 

        -n, --quiet, --silent                          取消自动打印模式空间 
        -e 脚本, --expression=脚本          添加“脚本”到程序的运行列表 
        -f 脚本文件, --file=脚本文件         添加“脚本文件”到程序的运行列表 

 

    上面出现了sed命令的三个最基本最常见的参数选项，其意思如下表所示：

 

-n选项  抑制sed命令的默认输出
-e选项     后接单引号包含的命令脚本，仅应用单个命令于输入文件时适用
-f 选项 指定一个文件包含多个脚本命令

 

   

 这几个选项的使用模式大致如下：

 

      sed -n -e 'cmd_script' input_file           #注意，单引号扩住脚本命令

        sed -f script_file input_file                    #将脚本命令写入一个单独的文件

 

    其实，sed命令的选项并不是学习sed命令的主要内容，主要内容是对于sed命令脚本部分的学习。sed支持的脚本命令比较多，后面会详细介绍该部分内容，介绍sed支持的脚本命令之前，先介绍一下sed命令执行的原理。

 

sed工作原理

 

    下面以sed -f script_file input_file为例，其工作原理如下图所示：

其中input_file表示处理文件，script_file表示脚本命令。

工作原理如下：

    a) 首先将处理文件的第一行读入模式空间。

    b) 接着对模式空间中的这一行内容执行脚本命令中设置的命令，从上至下依次执行脚本命令中设置的命令。

    c) 脚本命令执行完成后，输出模式空间中的内容。

    d) 清空模式空间中得内容，并读入处理文件中得第二行内容，并重复b) 和 c) 步骤的内容，直至处理完文件中的所有内容。

    苦逼的码农可以查看图片右上角的伪代码，可能解释得更加清晰一点。

 

 

下面先对几个经常出现的名词进行解释：

 

模式空间

    以上描述中出现了一个词叫模式空间，下面对其进行解释。由于sed命令的执行并不修改原始文件，也就是说输入文件是什么，执行完sed命令后，输入文件没有变化，这么说来，肯定不能在输入文件的基础上对其进行编辑，所以需要一块单独的空间，用于转存文件中得内容，然后进行处理并输出。模式空间就是这么一块转存输入文件内容的空间，并且sed命令一次读入输入文件中得一行内容到模式空间，使用sed命令支持的脚步执行处理完模式空间中得内容后，输出处理完的结果并删除模式空间中得内容，准备读入下一行输入文件中得内容。

 

多行模式空间

    如上所述，模式空间每次读入输入文件中的一行进行处理，有时只读入一行内容到模式空间对输入文件的处理能力很有限，比如它很难处理一个在一行末尾处开始，并在下一行开始处结束的短语。而多行模式空间就是为了解决这个问题而提出的，他允许将模式空间中的内容从一行扩展到多行。具体内容在本文后面会有讲解。

 

保持空间

    模式空间是容纳当前输入行的缓冲区，而保持空间是预留的一部分缓冲区，用于临时存储模式空间中的内容。模式空间中的内容可以复制到保持空间，保持空间中的内容也可以复制回模式空间。具体内容在本文后面会有讲解。

 

sed命令的行地址模式

 

    为什么需要行地址模式呢？因为并不是输入文件中的每一行内容都需要被sed命令处理，sed命令当然只处理它感兴趣的部分，于是需要使用行地址模式对要处理的行进行控制。
 
行地址是由斜杠、行号或者行寻址符号扩住的正则表达式描述。sed命令可以指定 0 或者 1 或者 2 个地址，每个地址都是一个描述模式、行号或者行选址符号的正则表达式。
    1. 如果没有制定地址，表示命令将应用于每一行。
    2. 如果只有一个地址，表示命令将应用于与这个地址匹配的所有行。
    3. 如果指定了由逗号分隔的两个地址，表示命令应用于匹配第一个地址的第一性和它后面的行，直到匹配第二个地址的行(包含此行)。
    4. 如果地址后面跟有感叹号，表示命令将应用于不匹配该地址的所有行。
 
例：
a) [address]command
b) [line-address]command
c) address {
        command1     #在command后面添加空格可能会产生意想不到的错误，建议每个command都单独一行
        command2
        command3
    }  #右大括号必须单独位于一行

 

 

sed命令支持的脚本命令

    sed命令所支持的脚本命令很多，常见的脚本命令有s、d、p、n、i、a、c、y等。其中还包括与多行模式空间相关的N、D、P命令(均大写)。与保持空间相关的h、H、g、G、x命令。

1. s命令(替换)

    语法：[address]s/pattern/replacement/flags

    解释：替换命令应用于与address匹配的行(address的匹配见行地址模式一节)，如果没有指定address，就应用于与pattern匹配的所有行。

    flags标注可能是以下几种情况中得一种：

g: 对模式空间中所有出现匹配的情况均进行替换。没有指定g时表示仅对第1次出现匹配的情况进行替换。

n: 1-512之间的一个数字，表示对当前模式空间中第n次出现所匹配部分的内容进行替换，其余所匹配部分的内容不变。

p: 打印模式空间中的内容。

w file: 将模式空间中的内容写入file中。

    换行符在计算机内部只是一个字符，所有正则表达式可以使用"\n"来匹配换行符。

    replacement部分，下列字符具有特殊含义：

&:  用正则表达式匹配的内容进行替换。

\n: 匹配第n个子串，这个子串以前在pattern中使用"\("和"\)"指定。

\:  转义字符，如上所述的&字符，在replacement中出现是就需要使用转义字符。

例：

s/UNIX/\\s-&\\s0/g脚本将 on the UNIX OS 替换为 on the \s-UNIX\s0 OS，其中UNIX为正则表达式匹配的内容，替换replacement中的&字符。其中第一个"\"字符为转义字符。

s!/usr/mail!/usr2/mail!g    #定界符并不一定必须是"/"，也可以选择其他字符，如本例中使用"!"作为定界符。

有一个test.txt文件内容为first:second，现在想要将first和second替换位置。可以使用如下命令实现：

sed -e 's/\(.*\):\(.*\)/\2:\1/' test.txt    #"\("、"\)"在pattern中指定了两个子串，"\1"、"\2"表示匹配第1个和第2个子串。

2. d命令(删除)

    待续......

只有注册用户登录后才能发表评论。
网站导航: