Linux 三剑客之awk

• Linux 三剑客之awk
  • 简介
  • 应用场景
  • awk执行流程图
  • awk生命周期
  • awk内置（预定义）变量
  • 行与列描述
    • 取行
    • 取列
  • awk中的函数
  • 条件的分类
    • awk正则详细：
    • 普通正则和awk正则区别
    • 范围表达式
    • 逻辑表达式
    • 算术表达式
  • 特殊模式BEGIN{}和END{}
  • awk数组
  • awk 的 判断、循环
    • if循环
    • 循环
  • 总体练习
  • 易错点：

Linux 三剑客之awk

简介

awk主要是用来格式化文本，也有人称awk是一种语言，类似 C，awk 是三剑客的老大，利剑出鞘，必会不同凡响。

应用场景

• 过滤，统计，计算，统计日志

awk执行流程图

• awk读取文件之前执行BEGIN，注意BEGIN读取文件之前就可以执行，后面不跟文件，也可以执行

  # 直接执行BEGIN，不跟文件
  [root@localhost ~]# awk \'BEGIN{print "直接执行"}\'
  直接执行
  

• awk读取文件时，执行BODY块

• awk读取文件后，执行END块

• 格式：awk [参数] \'BEGIN{读取文件前执行的内容}条件{读取文件执行的动作}END{读取完文件执行的内容}\' [文件路径]

完整流程示例（无条件要求演示）：

读取文件前可以加条件，条件包括正则判断等，继续往下看，看完就明白了~

awk生命周期

grep、sed和awk都是读一行处理一行，直至处理完成

# 生命周期如下：
接收一行作为输入
把刚刚读入进来得到文本进行分解
使用处理规则处理文本
输入一行，赋值给$0，直至处理完成($0代表当前行的内容)
把处理完成之后的所有的数据交给END{}来再次处理

awk内置（预定义）变量

行与列描述

取行

# 输出第一行
[root@localhost ~]# awk \'NR==1\' 域名 
 asdfgdghgf aadadadad
 
# 输出1到5行
[root@localhost ~]# awk \'NR>=1&&NR<=5{print NR,$0}\' 域名 
1  asdfgdghgf aadadadad
2   sdasdasda hjhjjg
3 asd adas sdasdas asdasdahgf
4 asdas asdasdad adasdasd
5 baaaaaaaaaaaaaaaaaaaabbbbbbbb

# 正则取，h开头的行，到m开头的行
[root@localhost ~]# cat 域名 | nl
     1	hammerze
     2	hanswang
     3	jianiubi
     4	guangtou
     5	meimei
     6	zhengyu
     7	xuegongzi
[root@localhost ~]# awk \'/^h/,/^m/ {print NR,$0}\' 域名 
1 hammerze
2 hanswang
3 jianiubi
4 guangtou
5 meimei

取列

• -F：指定分隔符，指定每一列结束标记（默认是空格，连续的空格Tab键），-F后也支持正则（案例4）
• -v ：修改变量
• $数字：表示取出某一列
• $0：表示整行的内容
• 补充知识：column -t格式化输出，美化操作

awk \'{print $0}\' 域名 输出的内容和cat的效果一样

[root@localhost ~]# awk \'{print $0}\' 域名 
hammerze
hanswang
jianiubi
guangtou
meimei
zhengyu
xuegongzi
[root@localhost ~]# cat 域名 
hammerze
hanswang
jianiubi
guangtou
meimei
zhengyu
xuegongzi

案例1：取出/etc/passwd文件中的第一列和最后一列

# 为例节省占用文章空间，这里输出5行
[root@localhost ~]# awk -F: \'{print NR,$1,$NF}\' /etc/passwd | column -t | head -n5
1   root             /bin/bash
2   bin              /sbin/nologin
3   daemon           /sbin/nologin
4   adm              /sbin/nologin
5   lp               /sbin/nologin

案例2：美化操作

[root@localhost ~]# awk -F: \'{print NR,"用户名:"$1,"解释器:"$NF}\' /etc/passwd | column -t | head -n5
1   用户名:root             解释器:/bin/bash
2   用户名:bin              解释器:/sbin/nologin
3   用户名:daemon           解释器:/sbin/nologin
4   用户名:adm              解释器:/sbin/nologin
5   用户名:lp               解释器:/sbin/nologin

案例3：将/etc/passwd文件的最后一列和第一列互换位置

[root@localhost ~]# awk -F\':\'  \'{print $NF,$2,$3,$4,$5,$6,$1}\' /etc/passwd | head -n5
/bin/bash x 0 0 root /root root
/sbin/nologin x 1 1 bin /bin bin
/sbin/nologin x 2 2 daemon /sbin daemon
/sbin/nologin x 3 4 adm /var/adm adm
/sbin/nologin x 4 7 lp /var/spool/lpd lp

# 这样得到的结果，和原来文件内容不一样缺少冒号
# 用-vOFS=:,这样空格就修改称原来的冒号就加回来了，`-F: == -vOFS=:`

[root@localhost ~]# awk -F: -vOFS=: \'{print $NF,$2,$3,$4,$5,$6,$1}\' /etc/passwd | head -n5
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp

案例4：取行和取列实现了文本内容“指哪打哪”，取行又取列

# 精确取ip
[root@localhost ~]# ip a | awk -F "[ /]+" \'NR==3{print $3}\'
127.0.0.1
# 剖析命令
awk ：		 命令
-F"[ /]+" :	   选项
NR==3: 		   条件
{print $3} ：   模式（动作） 

取行和取列主要用到的是比较，大于小于等于···

awk中的函数

• print函数：打印
• printf函数：格式化打印

函数搭配字符

# 格式化输出，以|为分隔符，换行对齐输出，没有空格补齐，超出就怼出去
[root@localhost ~]# awk -F: \'BEGIN{OFS=" | "}{printf "|%+15s|%-15s|\n", $NF,$1}\' /etc/passwd

# OFS输出分隔符，上面的结果打印5行看看
[root@localhost ~]# awk -F: \'BEGIN{OFS=" | "}{printf "|%+15s|%-15s|\n", $NF,$1}\' /etc/passwd |head -n5
|      /bin/bash|root           |
|  /sbin/nologin|bin            |
|  /sbin/nologin|daemon         |
|  /sbin/nologin|adm            |
|  /sbin/nologin|lp             |

条件的分类

运算符参考表

格式：awk [参数] \'BEGIN{读取文件前执行的内容}条件{读取文件执行的动作}END{读取完文件执行的内容}\' [文件路径]

awk中的条件有如下的操作