jasmine214--love

只有当你的内心总是充满快乐、美好的愿望和宁静时,你才能拥有强壮的体魄和明朗、快乐或者宁静的面容。
posts - 731, comments - 60, trackbacks - 0, articles - 0

Shell 学习—AWK---kiki整理

Posted on 2011-01-27 16:21 幻海蓝梦 阅读(443) 评论(0)  编辑  收藏 所属分类: LinuxShell

Shell 学习—AWK

= = = 安装awk

root@kiki-desktop:~/shell# apt-get install gawk gawk-doc

= = = awk 是一种程序语言. 它具有一般程序语言常见的功能.

= = =.awk语言具有某些特点,

: 使用直译器(Interpreter)不需先行编译;

 变量无类型之分(Typeless), 可使用文字当数组的下标(Associative Array)...等特色. 因此, 使用awk撰写程序比起使用其它语言更简洁便利且节省时间.

 awk还具有一些内建功能, 使得awk擅于处理具数据行(Record), 字段(Field)型态的资料;

 此外, awk内建有pipe功能, 可将处理中的数据传送给外部的 Shell命令加以处理, 再将Shell命令处理后的数据传回awk程序, 这个特点也使得awk程序很容易使用系统资源.

= = =  awk程序的主要结构:

awk程序中主要语法是 Pattern { Actions}, 故常见之awk 程序其型态如下 :

Pattern1 { Actions1 }

= = =  Actions 是什么?

Actions 是由许多awk指令构成. awk的指令与 C 语言中的指令十分类似.

例如 :

awk I/O指令 : print, printf( ), getline...

awk 流程控制指令 : if(...){..} else{..}, while(...){...}...

= = =  例子

有时语法 Pattern { Actions }, Pattern 部分被省略,只剩 {Actions}.这种情形表示 "无条件执行这个 Actions".

50 > 23 {print "Hello! The word!!" }

"banana" ~ /123/ { print "Good morning !" }

# awk '{print $2,$3*$4}' emp

UNIX命令行上, 执行awk的语法为:

$awk 'awk程序' 欲处理的资料文件文件名

# cat file1 | awk -F , {'print $1,$2'}

 

= = =  例如 : awk 从资料文件 emp.dat 中读入第一笔数据行

"A125 Jenny 100 210" 之后, 程序中:

$0 之值将是 "A125 Jenny 100 210"

$1 之值为 "A125"

$2 之值为 "Jenny"

$3 之值为 100

$4 之值为 210

$NF 之值为 4

$NR 之值为 1

$FILENAME 之值为 "emp.dat"

= = =  awk的工作流程 :

执行awk, 它会反复进行下列四步骤.

自动从指定的数据文件中读取一个数据行.

自动更新(Update)相关的内建变量之值. : NF, NR, $0...

依次执行程序中 所有 Pattern { Actions } 指令.

当执行完程序中所有 Pattern { Actions } , 若数据文件中还有未读取的数据, 则反复执行步骤1到步骤4.

awk会自动重复进行上述4个步骤, 使用者不须于程序中编写这个循环 (Loop).

= = =  linux 文本以空格分隔的行就可以默认操作

                            以其他分隔如, ;等等,就可以用awk –f 操作

dengfang,0Rgbo2Kyn0hms

huyibao,0R1d4zCYO3qxk

dengfeng,0RUsQ9pz6kBPs

gongfangping,0Ru/KhW.8Ove6

liucaigeng,0Rekdi5B0sWfU

 

= = =  print 的参数间彼此以 "," (逗号) 隔开, 印出数据时彼此间会以空白隔开.

 

例一,选择符合指定条件的记录

组装部门员工调薪5%,(组装部门员工之ID"A"开头)

所有员工最后之薪资率若仍低于100, 则以100.

编写awk程序打印新的员工薪资率报表.

 

原文件:

A125 Jenny 100 210

A341 Dan 110 215

P158 Max 130 209

P148 John 125 220

A123 Linda 95 210

 

[root@kiki-desktop:~/shell# cat adjust1.awk

$1 ~ /^A.*/ {$3*=1.05} $3<100 {$3=100}

{printf("%s %8s %d\n",$1,$2,$3)}

 

root@kiki-desktop:~/shell# cat emp

A125 Jenny 100 210

 

A341 Dan 110 215

 

P158 Max 130 209

 

P148 John 125 220

 

A123 Linda 95 210

 

root@kiki-desktop:~/shell# awk -f  adjust1.awk  emp

A125    Jenny 105

          100

A341      Dan 115

          100

P158      Max 130

          100

P148     John 125

          100

A123    Linda 100

 

例二,统计各科修课人数,并印出结果

 

此为一学生注册的资料文件; 第一栏为学生姓名, 其后为该生所修课程.

Mary O.S. Arch. Discrete

Steve D.S. Algorithm Arch.

Wang Discrete Graphics O.S.

Lisa Graphics A.I.

Lily Discrete Algorithm

.

建立如下程序,并取名为 course.awk:

{ for( i=2; i <= NF; i++) Number[$i]++ }

END{for(course in Number) printf("%10s %d\n", course, Number[course] )}

执行下列命令 :

$awk -f course.awk reg.dat

执行结果如下 :

  Graphics 2

      O.S. 2

  Discrete 3

      A.I. 1

      D.S. 1

     Arch. 2

 Algorithm 2

解说:指令中END awk之保留字, Pattern 的一种.

END 成立(其值为true)的条件是: "awk处理完所有数据, 即将离开程序时. "

平常读入数据行时, END并不成立, 故其后的Actions 并不被执行;

唯有当awk读完所有数据时, Actions才会被执行 ( 注意, 不管数据行有多少笔, END仅在最后才成立, 故该Actions仅被执行一次.)

BEGIN END 有点类似, awk中另一个保留的Pattern.

唯一不同的是: " BEGIN Pattern Actions 于程序一开始执行时, 被执行一次."

 

= = = awk中数组的特性

使用字符串当数组的下标(index).

使用数组前不须宣告数组名及其大小.

例如: 希望用数组来记录 reg.dat 中各门课程的修课人数.

这情况,有二项信息必须储存:

(a) 课程名称, : "O.S.","Arch.".. ,共有哪些课程事先并不明确.

(b)各课程的修课人数. : 有几个人修"O.S."

awk中只要用一个数组就可同时记录上列信息. 其方法如下:

使用一个数组 Number[ ] :

以课程名称当 Number[ ] 的下标.

Number[ ] 中不同下标所对映的元素代表修课人数.

例如:

2个学生修 "O.S.", 则以 Number["O.S."] = 2 表之.

若修"O.S."的人数增加一人, Number["O.S."] = Number["O.S."] + 1 Number["O.S."]++ .

 

例三,写一个awk程序来打印出线上人数.

将下列程序建文件, 命名为 count.awk

BEGIN {

while ( "who" | getline ) n++

print n

}

并执行下列命令 :

awk -f count.awk

执行结果将会印出目前在线人数

getline var

pipe 变量

变量 var(var省略时,表示置于$0)

 

例四,重定向输出到文件

 

root@kiki-desktop:~/shell# cat arr.dat

1034 7:26

 

1025 7:27

 

1101 7:32

 

1006 7:45

 

1012 7:46

 

1028 7:49

 

1051 7:51

 

1029 7:57

 

1042 7:59

 

1008 8:01

 

1052 8:05

 

1005 8:12

root@kiki-desktop:~/shell# cat reformat1.awk

BEGIN { print " ID Number Arrival Time" > "today_rpt1"

 

print "===========================" > "today_rpt1"

 

}

 

{ printf(" %s %s\n", $1,$2 ) > "today_rpt1" }

root@kiki-desktop:~/shell#

root@kiki-desktop:~/shell#

root@kiki-desktop:~/shell# awk -f reformat1.awk arr.dat

root@kiki-desktop:~/shell#

 

= = = awk 中如何利用系统资源

: awk input 指令只有 getline 一个.

awk output 指令有 print, printf() 二个.

a 语法中, awk所输出的数据将转送往 Shell , Shell 的命令进行处理.以上例而言, print 所输出的数据将经由 Shell 命令 "sort -k 1" 排序后再送往屏幕(stdout).

上列awk程序中, "print$1, $2" 可能反复执行很多次, 其输出的结果将先暂存于 pipe ,等到该程序结束时, 才会一并进行 "sort -k 1".

须注意二点 : 不论 print $1, $2 被执行几次, "sort -k 1" 的执行时间是 "awk程序结束时",

[a. 语法] awk output 指令 | "Shell 接受的命令"

( : print $1,$2 | "sort -k 1" )

 

5

root@kiki-desktop:~/shell# awk '

> BEGIN{

> system("date > date.dat")

> getline < "date.dat"

> print "Today is ", $2, $3

> }

> '

Today is  Jan 26

 

= = = = 执行 awk 程序的几种方式= = = =

若欲执行该awk程序, 来印出文件 today_rpt1 today_rpt2 的内容时,

必须于 UNIX 的命令行上执行下列命令 :

方式一 awk -f mydump.awk today_rpt1 today_rpt2

方式二 awk '{print}' today_rpt1 today_rpt2第二种方式系将awk 程序直接写在 Shell 的命令行上, 这种方式仅适合较短的awk程序.

方式三 建立如下之 shell script, 并取名为 mydisplay, $ ./mydisplay today_rpt1 today_rpt2

 

#!/bin/sh

# 注意以下的 awk ' 之间须有空白隔开

awk '

{print}

' $*

# 注意以上的 ' $* 之间须有空白隔开

 

5$ ./mydisplay  #(未接任何数据文件文件名)

将会发现: 此后键入的任何数据将逐行复印一份于屏幕上. 这情况不是机器当机 ! 是因为awk程序正处于执行中. 它正按程序指示, 将读取数据并重新dump一次; 只因执行时未指定数据文件文件名, awk 便以stdin(键盘上的输入)为数据来源. 读者可利用这个特点, 设计可与awk即时聊天的程序.

 

root@kiki-desktop:~/shell# ./mydisplay

kiki

kiki

 

 

kiki

kiki

 

 

mina

mina

 

6,改变 awk 切割字段的方式 & 自定义函数

 

范例 : ] 承接 6.2 的例子, 若八点为上班时间, 请加注 "*"于迟到记录之前, 并计算平均上班时间.

 


只有注册用户登录后才能发表评论。


网站导航: