Linux Shell脚本之正则表达式
一、常见的管道命令
sort命令
sort命令可针对文本文件的内容，以行为单位来排序
格式：sort [选项] 参数
常用选项
选项 说明
-f 忽略大小写，会将小写字母都转换为大写字母来进行比较
-b 忽略每行前面的空格
-n 按照数字进行排序
-r 反向排序
-u 等同于uniq，表示相同的数据仅显示一行
-t 指定字段分隔符，默认使用[Tab]键分隔
-k 指定排序字段
-o <输出文件> 将排序后的结果转存至指定文件
uniq命令
uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用
格式：uniq [选项] 参数
常用选项
选项 说明
-c 进行计数，并删除文件中重复出现的行
-d 仅显示连续的重复行
-u 仅显示出现一次的行
tr命令
常用来对来自标准输入的字符进行替换、压缩和删除
格式：tr [选项] [参数]
常用选项
选项 说明
-c 保留字符集1的字符，其他的字符用（包括换行符\n）字符集2替换
-d 删除所有属于字符集1的字符
-s 将重复出现的字符串压缩为一个字符串；用字符集2 替换 字符集1
-t 字符集2 替换 字符集1，不加选项同结果
常用参数
参数 说明
字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”
字符集2：指定要转换成的目标
cut命令
显示行中的指定部分，删除文件中指定字段
格式：cut [选项] 参数
常用选项
选项 说明
-f 通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分割符
-d “TAB”是默认的分隔符，使用此选项可更改为其他的分隔符
- -complement 用于排除所指定的字段
- -output-delimiter 更改输出内容的分隔符
例：统计当前连接主机数
二、正则表达式
正则表达式的定义
正则表达式，又称正规表达式、常规表达式
使用字符串来描述、匹配一系列符合某个规则的字符串
正则表达式组成
普通字符包括大小写字母、数字、标点符号及一些其他符号
元字符是指在正则表达式中具有特殊意义的专用字符
常见元字符
支持的工具：find、grep、egrep、sed和awk
匹配符 表示含义
. 表示任意一个字符
[ ] 匹配括号中的一个字符
[^ ] 表示否定括号中出现字符类中的字符,取反
\转义字符 用于取消特殊符号的含义
^ 匹配字符串开始的位置
$ 匹配字符串结束的位置
{n} 匹配前面的子表达式n次
{n,} 匹配前面的子表达式不少于n次
{n,m} 匹配前面的子表达式n到m次
[:alnum:] 匹配任意字母和数字
[:alpha:] 匹配任意字母，大写或小写
[:lower:] 小写字符a-z
[:upper:] 大写字符A-Z
[:blank:] 空格和TAB字符
[:space:] 所有空白字符( 新行、空格、制表符)
[:digit:] 数字 0-9
[:xdigit:] 16 进制数字
[:cntrl:] 控制字符
例：表示一个任意字符
例：[ ] 匹配括号中的一个字符
例：[^] 表示否定括号出现字符类中的字符，取反
例：[:alnum:] 匹配任意字母和数字
一定要在外面再套一个[ ]
例：元字符 （.）
三、扩展正则表达式
支持的工具：egrep、awk 或 grep -E 和 sed -r
限定符 说明
* 匹配前面子表达式0次或者多次
.* 任意长度的任意字符
？ 匹配前面子表达式0次或者1次，即：可有可无
+ 与星号相似，表示其前面字符出现一次或多次，但必须出现一次,>=1
{n,m} 匹配前面的子表达式n到m次
{m} 匹配前面的子表达式n次
{n,} 匹配前面的子表达式不少于n次 >=n
{，n} 匹配前面的子表达式最多n次，<=n
| 用逻辑OR（或）方式指定正则表达式要是用的模式
（） 字符串分组，将括号中的字符串作为一个整体
例：* 匹配前面子表达式 0 此或者多次
例：{n，m} 匹配前面的子表达式 n 到 m 次
例：{n，} 匹配前面的子表达式不少于n次>=n
例：{，n} 匹配前面的子表达式最多n次，<=n
例：* 任意长度的任意字符
例：？ 匹配前面表达式0次或者1次，即：可有可无
例：+ 与星号相似，表示其前面字符出现一次或多次，但必须出现一次， >=1
例：| 逻辑 or （或）方式指定正则表达式要是用的模式
例：（）字符串分组，将括号中的字符串作为一个整体
例：提取IP地址
法一：
法二：
位置锚定
位置限定符 说明
^ 行首锚定，用于模式的最左侧
$ 行尾锚定，用于模式的最右侧
^PATTERN^ 用于模式匹配整行
^$ 空行
^[[:space:]]*$ 空白行
\< 或 \b 词首锚定，用于单词模式的左侧（连续的数字，字母下划线都算）
\>或 \b 词尾锚定，用于单词的右侧
\<PATTERN\> 匹配整个单词
例：行尾锚定，用于模式的最右侧
例：行首锚定，用于模式的最左侧
例：用于模式匹配整行，匹配的内容单独在一行
例：\< 只匹配右侧的单词
例：\> 只匹配左侧的单词
例：过滤出不是以#开头的非空行
