首页 | 新闻 | 交流 | 问吧 | 文档 | 手册 | 下载 | 博客

Shell脚本学习笔记(七)--sed和awk

作者:  时间: 2011-03-17

sed和awk

背景

设计script时,有时候需要修改脚步,如删除或置换某些关键词。这种在script执行过程动态修改文件的做法,称为流编辑。具有流编辑能力的工具,称为流编辑器(stream editor)。sed是这方面的佼佼者,可补bash的不足。另外,script执行时可能要制作报表,呈现各种字段信息。传统上,能和bash完美搭配的,非awk莫属。

正则表达式

正则表达式是组成“样式”的基本语法,而“样式”是运用sed和awk必备的能力。sed和awk相同的运行方式是:只要符合“样式”的数据行,就对它执行指定的“操作”。

有关正则表达式的文章很多。可参见:http://www.cnblogs.com/KissKnife/archive/2008/03/23/1118423.html

sed的用法

sed是一种非交互式的流编辑器,可动态编辑文件。sed的工作模式是,比对每一数据行,若符合样式,就执行指定的操作。

语法

sed '样式命令' 文件

“样式”使用一对//含括,表示寻找之意;也可以指定数据行的范围。

sed并不会更改文件内容。sed的工作方式是读取文件内容,经流编辑之后,把结果显示到标准输出。因此,如果想要存储sed的处理结果,得自行运用转向输出将结果存成其他文件。

各种用法

1 删除某一段范围的数据行:sed '1,4d' datafl  把第1到4行数据删除,剩下的显示出来。d表示删除

2 把含有“样式”的数据行删除:sed '/La/d' datafl  把含有La的行删除,剩下的显示出来。//代表搜索

sed '/[0-9]\{3\}/d' datafl  把含有3位数的行删除,剩下的显示出来。。      正则表达式的应用

3 不含有“样式”的数据行删除:sed '/La/!d' datafl   把不含有La的行删除,剩下的显示出来

4 含有“样式”的数据行显示出来:sed '/La/p' datafl  把含有La的行显示出来。但sed默认也会把不符合的数据行显示出来,所以应这样用:sed -n '/La/p' datafl  -n会抑制sed显示

5 取代:sed -n 's/La/Oo/p' datafl s表示选取,第一对//中包括的字符串是搜索的目标,第二对//包括的是置换的字符串。它会把数据行中的La换成Oo    但这样只会更换第一个出现的La,若要全部置换,应使用:sed -n 's/La/Oo/gp' dafl

6 取用符合样式的字符串:sed -n 's/\(La\)/\1Oo/p' datafl  把找到的La存起来,用\1取回来再使用。执行的结果是,如数据行含有La,则第一个出现的La会置换成LaOo,然后显示这些含有La的数据行

7 找到符合样式的数据行后,再进行取代的操作:sed -n '/AAA/s/234/567/p' datafl 找到含AAA的那一行之后,将234换成567     sed -n '/AAA/,/DDD/s/B/567/p' datafl  将含有AAA到含有DDD的那几行,皆将其中的B换成567

  

例子

 

#!/bin/bash

if [ $# -ne 1 ] ; then
echo "Usage: $0 on 或 $0 off"
exit 1
fi

OPT
=$1

case
"$OPT" in
[Oo][Nn]
) CMD='YES';;
[Oo][Ff][Ff]
) CMD='NO';;
*
)
echo '选项错误:使用on或off'
exit 1;;
esac

VSFTP_conf
='/etc/vsftpd.conf'
TMP_file
="/tmp/tmp.$$"

if [ -e $VSFTP_conf ] ; then
sed s
/^.anonymous_enable=.*/anonymous_enable=$CMD/ $VSFTP_conf > $TMP_file
mv -f
$TMP_file $VSFTP_conf
echo '设置成功'
else
echo "文件:$VSFTP_conf 不存在"
fi

awk的用法

awk是一种可以处理数据,产生个时候报表的语言。工作方式是读取数据文件,将每一行数据视为一条记录,每笔记录以字段分割符分成若干字段,然后输出各个字段的值。

ps auxw | awk '{print $2}'

awk对每一条记录都会套用一个“样式{操作}”,如果符合样式,就执行指定的操作。样式或操作之一,可以省略。如果只有样式,表示要显示符合样式的数据行;如果只有操作,表示对每一数据行都执行该项操作。

以下是awk常用的作用格式:

awk “样式” 文件 :把符合样式的数据行显示出来

awk '{操作}' 文件 :对每一行都执行{}中的操作

awk '样式{操作}' 文件 :对符合样式的数据行,执行{}中的操作

awk的用法:

1 awk '/La/' datafl 显示含有La的数据行

2 awk '{print $1,$2}' datafl 显示datafl每一行的第1和第2个字段

3 awk '/La/{print $1,$2}' datafl  将含有关键词La的数据行的第1及第2个字段显示

4 awk -F: '/^ols3/{print $3,$4}' /etc/passwd 使用选项-F 指定:为分隔符,帐号ols3的uid及gid字段显示出来

5 awk -F: 'BEGIN{OFS="+++"}/^ols3/{print $1,$2,$3,$4,$5}' /etc/passwd 以:为分隔符,+++为输出字段分隔符,将帐号ols3的第1-5字段显示     BEGIN{}区域指定awk一开始先做初始化操作,设定OFS="+++"。变了OFS的作用是存储输出字段的分隔符。