linux 文本处理

时间：2015-07-26 00:13:03 收藏：0 阅读：269

tr,awk,sed

一：tr

1.大小写转换

cat file | tr [a-z] [A-Z] > new_file（大写 --> 小写）

cat file | tr [A-Z] [a-z] > new_file

2.删除空行

cat file | tr -s "\n" > new_file

二：awk:

gsub 全局替换

sub 替换第一次

gensub 指定替换第几次

他们都是用来正则处理文本的

awk的sub函数用法：

1.sub函数匹配指定域/记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。

如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的时候。格式如下：
sub (regular expression, substitution string):
sub (regular expression, substitution string, target string)
实例：
$ awk ‘{ sub(/test/, "mytest"); print }‘ testfile
$ awk ‘{ sub(/test/, "mytest", $1); print }‘ testfile
第一个例子在整个记录中匹配，替换只发生在第一次匹配发生的时候。
第二个例子在整个记录的第一个域中进行匹配，替换只发生在第一次匹配发生的时候。
如要在整个文件中进行匹配需要用到gsub

2.gsub函数作用如sub，但它在整个文档中进行匹配。格式如下：

gsub (regular expression, substitution string)
gsub (regular expression, substitution string, target string)
实例：
$ awk ‘{ gsub(/test/, "mytest"); print }‘ testfile
$ awk ‘{ gsub(/test/, "mytest", $1); print }‘ testfile
第一个例子在整个文档中匹配test，匹配的都被替换成mytest。
第二个例子在整个文档的第一个域中匹配，所有匹配的都被替换成mytest。

sub和gsub返回的都是替换次数

[zhangping10@yf-nsop-dev01.yf01.baidu.com ~]$ echo "a b c 2011-11-22 a:d" | awk ‘{$2=gsub(/-/,"",$4);print $0}‘
a 2 c 20111122 a:d

3.gensub则更强大，可以指定替换的第几次，函数返回值是替换的结果

[zhangping10@yf-nsop-dev01.yf01.baidu.com ~]$ echo "a b c 2011-11-22 a-d" | awk ‘{$6=gensub(/-/,"",1,$4);print $0}‘ 
a b c 2011-11-22 a-d 201111-22

gensub(/-/,"",1,$4)
/-/:替换源
"":替换目标
1:替换第几次，"g","G"表示全局替换
$4:替换第几个字段

替换目标还可以使用分组

[zhangping10@yf-nsop-dev01.yf01.baidu.com ~]$ echo "duowan duowan-0002-gs2 a" | awk ‘{$0=gensub(/^.*-([0-9]+)(-.*)$/,"\\2","g",$2);print $0}‘
-gs2

原文：http://www.cnblogs.com/zlingh/p/4676744.html