Linux之文本处理

这里介绍3种方式:awk、grep、sed

0x00 awk处理文本(最常用)

作用:awk对数据以行分析并生成报告时显得很强大,它将行进行切片,再处理分开的切片,可对格式化的数据重新进行格式化  
awk命令格式:awk [F filed-separator] 'commands' input-fiel(s)  
参数-F:可以添加任意的分割符,比较重要  
awk工作流程是这样的:  
读入有'\n'换行符分割的一条记录,然后将记录按-F指定的域分隔符划分域,$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键"。
  • 入门示例:

    [wyb@localhost temp]$ head -n 5 /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/nologin
    daemon:x:2:2:daemon:/sbin:/sbin/nologin
    adm:x:3:4:adm:/var/adm:/sbin/nologin
    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
    [wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':' '{print $1}' #输出第1列,域分隔符为:
    root
    bin
    daemon
    adm
    lp
    [wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':'  '{pri
    nt "id:"$1"\tshell:"$7}' #输出第1、7列且给予列名
    id:root shell:/bin/bash
    id:bin  shell:/sbin/nologin
    id:daemon       shell:/sbin/nologin
    id:adm  shell:/sbin/nologin
    id:lp   shell:/sbin/nologin
    [wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':'  'BEGIN {print "====begin====="} {print "id:"$1"\tshell:"$7} END {print "====end===="}'
    ====begin=====
    id:root shell:/bin/bash
    id:bin  shell:/sbin/nologin
    id:daemon       shell:/sbin/nologin
    id:adm  shell:/sbin/nologin
    id:lp   shell:/sbin/nologin
    ====end====
    [wyb@localhost temp]$ awk -F: '/root/' /etc/passwd #搜索含有root关键字的所有行
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin
    [wyb@localhost temp]$ awk -F: '/root/{print $7}' /etc/passwd #匹配root并输出对应shell
    /bin/bash
    /sbin/nologin
    [wyb@localhost temp]$ awk -F: '/^root/' /etc/passwd #匹配以root开头的行
    root:x:0:0:root:/root:/bin/bash
    
  • 内置变量:

    ARGC          命令行参数个数
    ARGV          命令行参数排列
    ENVIRON     支持队列中系统环境变量的使用
    FILENAME   awk浏览的文件名
    FNR             浏览文件的记录数
    FS                设置输入域分隔符,等价于命令行 -F选项
    NF                浏览记录的域的个数
    NR                已读的记录数
    OFS             输出域分隔符
    ORS             输出记录分隔符
    RS                控制记录分隔符

    [wyb@localhost temp]$ awk -F: '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' a.txt
    filename:a.txt,linenumber:1,columns:1,linecontent:1     root    12sf34s56
    filename:a.txt,linenumber:2,columns:1,linecontent:2     admin   ksdjfiweurf
    filename:a.txt,linenumber:3,columns:1,linecontent:3     dome    skd89453
    filename:a.txt,linenumber:4,columns:1,linecontent:4     tomkd   3jkke34
    filename:a.txt,linenumber:5,columns:1,linecontent:5     jarry   sdkj89ry4
    filename:a.txt,linenumber:6,columns:1,linecontent:6     canki   sdkj834
    filename:a.txt,linenumber:7,columns:1,linecontent:7     lola    er8f7734
    filename:a.txt,linenumber:8,columns:1,linecontent:8     marry   j8jkf78
    filename:a.txt,linenumber:9,columns:1,linecontent:9     candy   kd89943
    
  • awk编程:

    • 变量和赋值:

      [wyb@localhost temp]$ head -n 5 /etc/passwd | awk -F ':'  'BEGIN {count=0} {count++; print "username:"$1} END {print "count:"count}'
      username:root
      username:bin
      username:daemon
      username:adm
      username:lp
      count:5
      [wyb@localhost ~]$ ls -l aaa/ettercap-0.8.2 | awk 'BEGIN {size=0;} {size=size+5;} END {print "[end]size is:",size,"byte"}'
      [end]size is: 160 byte
      [wyb@localhost ~]$ ls -l aaa/ettercap-0.8.2 | awk 'BEGIN {size=0;} {size=size+5;} END {print "[end]size is:",size/1024/1024,"M"}'
      [end]size is: 0.000152588 M
      
    • 条件语句:

      [wyb@localhost ~]$ head -n 6 /etc/passwd | awk -F ':' '{if($1=="root") print "root bash is:"$7}'
      root bash is:/bin/bash
      [wyb@localhost ~]$ 
      

0x01 Grep处理文本

匹配到时输出一行

  • 常用参数:nrABC
    -n      输出匹配到的字符串所在行数
    -r      遍历子目录文件查找字符串
    -A 3  显示匹配行及下面3行
    -B 4  显示匹配行及上面4行
    -C 4  显示匹配行及上下4行
    -i       不区分大小写
    -v      显示所有不包含字符的行
[wyb@localhost ~]$ grep root /etc/passwd #查找root这个字符
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost ~]$ grep -n root /etc/passwd #查找root字符串并输出所在行数
1:root:x:0:0:root:/root:/bin/bash
11:operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost ~]$ grep -n root /etc/passwd --color #给字符串不同颜色
1:root:x:0:0:root:/root:/bin/bash
11:operator:x:11:0:operator:/root:/sbin/nologin
[wyb@localhost temp]$ ls
aa  b.txt
[wyb@localhost temp]$ grep -r -n root /home/wyb/temp/ --color #在temp目录及子目录查找字符串root
/home/wyb/temp/b.txt:4:sdkrootwe
/home/wyb/temp/b.txt:6:fsdkfjroot
/home/wyb/temp/b.txt:9:root
/home/wyb/temp/aa/a.txt:1:1     root    12sf34s56
[wyb@localhost temp]$ grep -r -n "^root" /etc/passwd --color #正则查找字符串root
1:root:x:0:0:root:/root:/bin/bash
[wyb@localhost temp]$ grep -r -n "root" /etc/passwd --color -c #匹配的行的数
2
[wyb@localhost temp]$ ps aux | grep "^wyb"
wyb        2185  0.0  0.1  99952  1840 ?        S    16:33   0:02 sshd: wyb@pts/0  
wyb        2186  0.0  0.1 108464  1944 pts/0    Ss   16:33   0:00 -bash
wyb        3229  2.0  0.1 110232  1136 pts/0    R+   18:27   0:00 ps aux
wyb        3230  0.0  0.0 103244   828 pts/0    S+   18:27   0:00 grep ^wyb
[wyb@localhost temp]$ ps aux | grep ora
wyb        3233  0.0  0.0 103244   828 pts/0    S+   18:28   0:00 grep ora

0x02 sed处理文本

* 处理大文本很好用,上几十万、上百万行的数据
* sed主要以行为单位,可以将数据行进行替换、删除、新增、选取等
* sed语法 参数 动作 文件
* -n只把匹配到的输出
* 主要参数是:
    * a 在下面插入数据
    * d 删除
    * i 在上面插入数据
    * p 输出数据
    * c 替换字符串,后面可跟字符串,字符串替换n1到n2之间的行<br/>
      s 替换字符串,通常搭配正则
  • 字符的删除
[wyb@localhost aa]$ nl a.txt | sed '3,8d' #不输出3-8行
     1  1     root      12sf34s56
     2  2     admin     ksdjfiweurf
     9  9     candy     kd89943
[wyb@localhost aa]$ nl a.txt | sed '3,$d' #从第三行删到最后一行
     1  1     root      12sf34s56
     2  2     admin     ksdjfiweurf
[wyb@localhost aa]$ nl a.txt | sed '/root/d' #正则删除带root的行
     2  2     admin     ksdjfiweurf
     3  3     dome      skd89453
     4  4     tomkd     3jkke34
     5  5     jarry     sdkj89ry4
     6  6     canki     sdkj834
     7  7     lola      er8f7734
     8  8     marry     j8jkf78
     9  9     candy     kd89943
  • a插入字符
[wyb@localhost aa]$ nl a.txt | sed '2a aaaaaa' | head -n 5 #在第二行下面插入一行字符串aaaaaa
     1  1     root      12sf34s56
     2  2     admin     ksdjfiweurf
aaaaaa
     3  3     dome      skd89453
     4  4     tomkd     3jkke34
[wyb@localhost aa]$ nl a.txt | sed '2i aaaaaa' | head -n 5 #在第二行上面插入一行字符串aaaaaa
     1  1     root      12sf34s56
aaaaaa
     2  2     admin     ksdjfiweurf
     3  3     dome      skd89453
     4  4     tomkd     3jkke34
[wyb@localhost aa]$ nl a.txt | sed '2i aaaaaa \ #增加多行用\
bbbbb\
ccccc\
dddddd' | head -n 7
     1  1     root      12sf34s56
aaaaaa 
bbbbb
ccccc
dddddd
     2  2     admin     ksdjfiweurf
     3  3     dome      skd89453
  • p输出字符
[wyb@localhost aa]$ nl a.txt | sed '2,5p'
     1  1     root      12sf34s56
     2  2     admin     ksdjfiweurf
     2  2     admin     ksdjfiweurf
     3  3     dome      skd89453
     3  3     dome      skd89453
     4  4     tomkd     3jkke34
     4  4     tomkd     3jkke34
     5  5     jarry     sdkj89ry4
     5  5     jarry     sdkj89ry4
     6  6     canki     sdkj834
     7  7     lola      er8f7734
     8  8     marry     j8jkf78
     9  9     candy     kd89943
[wyb@localhost aa]$ nl a.txt | sed -n '2,5p' #加-n去除其余行
     2  2     admin     ksdjfiweurf
     3  3     dome      skd89453
     4  4     tomkd     3jkke34
     5  5     jarry     sdkj89ry4
[wyb@localhost aa]$ nl a.txt | sed -n '/root/p' #正则匹配root
     1  1     root      12sf34s56
[wyb@localhost bbb]$ nl /etc/passwd | sed -n '/root/{s/root/111111/;p}' #查找root,然后将行中的第一个root替换为abcdefg  -n代表不输出所有的
     1  111111:x:0:0:root:/root:/bin/bash
    11  operator:x:11:0:operator:/111111:/sbin/nologin
  • c和s替换字符
[wyb@localhost aa]$ nl a.txt | sed '2,5c aaaaaa' #将第2-5行替换
     1  1     root      12sf34s56
aaaaaa
     6  6     canki     sdkj834
     7  7     lola      er8f7734
     8  8     marry     j8jkf78
     9  9     candy     kd89943
[wyb@localhost aa]$ nl /etc/passwd | sed -n '/root/{s/root/1111/g;p}'查找root,然后将全局的root替换为1111
     1  1111:x:0:0:1111:/1111:/bin/bash
    11  operator:x:11:0:operator:/1111:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed -n '1,3{s/root/1111/g;p}'前五行查找root,然后将全局的root替换为1111
     1  1111:x:0:0:1111:/1111:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed -n '1,5{s/root/1111/g;p;q}'前五行查找root,然后将整行的root替换为1111,查找到一个就退出
     1  1111:x:0:0:1111:/1111:/bin/bash
  • 实例
[wyb@localhost aa]$ ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:56:B4:10  
          inet addr:192.168.63.131  Bcast:192.168.63.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe56:b410/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:11732 errors:0 dropped:0 overruns:0 frame:0
          TX packets:7223 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1148256 (1.0 MiB)  TX bytes:1192150 (1.1 MiB)


[wyb@localhost aa]$ ifconfig eth0 | grep 'inet add' 
          inet addr:192.168.63.131  Bcast:192.168.63.255  Mask:255.255.255.0
[wyb@localhost aa]$ ifconfig eth0 | grep 'inet add' | sed 's/Bcast.*$//g'
          inet addr:192.168.63.131  
[wyb@localhost aa]$ 

[wyb@localhost aa]$ nl /etc/passwd | sed '3,$d'
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed '3,$d' | sed -n 's/bash/buleshell/p'
     1  root:x:0:0:root:/root:/bin/buleshell

[wyb@localhost aa]$ nl /etc/passwd | sed -e '3,$d' -e 's/bash/buleshell/p'
     1  root:x:0:0:root:/root:/bin/buleshell
     1  root:x:0:0:root:/root:/bin/buleshell
     2  bin:x:1:1:bin:/bin:/sbin/nologin
[wyb@localhost aa]$ 


[wyb@localhost aa]$ nl /etc/passwd | sed -e '3,$d' -e 's/bash/buleshell/p'
     1  root:x:0:0:root:/root:/bin/buleshell
     1  root:x:0:0:root:/root:/bin/buleshell
     2  bin:x:1:1:bin:/bin:/sbin/nologin
[wyb@localhost aa]$ nl /etc/passwd | sed -e '3,$d' -e 's/bash/buleshell/p' > test.txt
[wyb@localhost aa]$ cat test.txt 
     1  root:x:0:0:root:/root:/bin/buleshell
     1  root:x:0:0:root:/root:/bin/buleshell
     2  bin:x:1:1:bin:/bin:/sbin/nologin
若未作声明则文章版权归本人(@reber)所有,转载请注明原文链接:

可以返回顶部