仓库源文，站点原文

layout: post title: Linux Bash AWK知识汇集 categories:

• 科 tags:
• bash

bash

bash 匹配 if [[ $i =~ xyz ]]

正则表达式非贪婪(懒惰)匹配一般使用/A[^B]B/实现

• Non greedy regex matching in sed?
• 使用awk/sed/vim 如何在.*(点星)的情况下非贪婪?

bash的大括号展开

• Brace expansion
• 展开的文档说明
• 展开中使用变量

bash脚本支持管道

• shell脚本如何读取管道数据

一次性给多个变量赋值

• awk一次性给多个bash变量赋值
• bash中一次性给多个变量赋值--命名管道的使用
• 在Bash脚本中使用命名管道(FIFO)

read a b c < <(echo "23 76 海外 海外" | awk '{print $1,$2,$3}')

第一个<是重定向, <(cmds)是bash进程替代(Process Substitution), 如果理解什么是命名管道, 那么<(...)就是一个临时的命名管道; 如果不理解, 可以简单的看作bash产生一个/dev/fdxxx的文件, 文件内容是cmds的标准输出

mkfifo npipe

(echo "a b c d" > npipe)&

read k1 k2 k3 k4 < npipe

此时k1 k2 k3 k4已经分别赋值成a b c d

注意：不能用 | 直接给read变量, 因为echo "a b c d" | read k1 k2 k3 k4 时, read在子shell中执行, 执行结果不能影响父shell.

bash简单条件语句的合并

a=1; [[ $a -eq 1 ]] && echo "1" || { echo 0; exit; }

exit后必须有";", 否则出错

bash echo错误

Ijob=$1

echo $Ijob 无输出, 原因未知

echo "" $Ijob 输出

三类引用

当shell碰到第一个单引号时, 它忽略掉其后直到右引号的所有特殊字符 双引号作用与单引号类似, 区别在于它没有那么严格. 单引号告诉shell忽略所有特殊字符, 而双引号只要求忽略大多数, 具体说, 括在双引号中的三种特殊字符不被忽略：$,\,` ,即双引号会解释字符串的特别意思,而单引号直接使用字符串. 如果使用双引号将字符串赋给变量并反馈它, 实际上与直接反馈变量并无差别. 如果要查询包含空格的字符串, 经常会用到双引号.

x=*

echo $x

hello.sh menus.sh misc.sh phonebook tshift.sh

echo '$x'

$x

echo "$x"

*

这个例子可以看出无引号、单引号和双引号之间的区别.

在最后一种情况中, 双引号告诉shell在引号内照样进行变量名替换, 所以shell把$x替换为, 因为双引号中不做文件名替换, 所以就把作为要显示的值传递给echo.

对于第一种情况需要进一步说明, shell在给变量赋值时不进行文件名替换（这从第三种情况中也能看出来）, 各步骤发生的精确次序如下：

• shell扫描命令行, 把x的值设为星号*;
• shell再次扫描命令行, 碰到星号*, 把它替换成当前目录下的文件清单;
• shell启动执行echo命令, 把文件清单作为参数传递给echo.

这个赋值的先后次序非常重要：shell先作变量替换, 然后作文件名替换, 最后把这行处理为参数

反引号(``)

命令替换是指shell能够将一个命令的标准输出插在一个命令行中任何位置.

shell中有两种方法作命令替换：把shell命令用反引号或者$(...)结构括起来, 其中, $(...)格式受到POSIX标准支持, 也利于嵌套.

反斜杠 backslash-escaped( \ )

反斜杠一般用作转义字符, 或称逃脱字符, linux如果echo要让转义字符发生作用, 就要使用-e选项, 且转义字符要使用双引号

echo -e "\n"

反斜杠的另一种作用,就是当反斜杠用于一行的最后一个字符时, shell把行尾的反斜杠作为续行, 这种结构在分几行输入长命令时经常使用.

sed一般使用单引号,sed引用shell变量时使用双引号即可, 双引号是弱转义,不会去除$的变量表示功能, 而单引号为强转义, 会把$作为一般符号表示, 不会表示为变量.

数学计算

• bash数学计算

不可直接使用 var=1+1, 或var=$var+1之类

正确方法

1. 最推荐：((var+=1)) 或 let "var+=1"

   • 参数直接引用, 不加$
   • 只能进行整数运算
   • 几乎支持所有的运算符, 包括自加++、自减--、括号()、方幂**
   • let后表达式推荐始终加双引号, 即便不含bash关键字

2. 符合习惯：var=$[$var+1] 或 <code>var=`expr $var + 1`</code>

   • 参数引用须加$
   • 只支持整数运算
   • expr后表达式各符号间需用空格隔开
   • expr支持的操作符有：|、&、<、<=、=、!=、>=、>、+、-、*、/、%
   • expr支持的操作符使用时需用\进行转义的有：|、&、<、<=、>=、>、*

3. 浮点数计算：最推荐使用bc, <code>var=`echo "$var+1"|bc`</code>

   • 支持除位操作运算符之外的所有运算符
   • 使用scale进行精度设置 <code>var=`echo "scale=2;$var*3"|bc`</code>

4. 浮点数计算, 使用awk, <code>var=`echo "$var 1" | awk '{printf("%g",$1*$2)}'</code>

   • 支持除微操作运算符之外的所有运算符
   • 内置函数：log、sqrt、cos、sin

重定向

• Bash的输入输出重定向
• 2>&1使用
• linux输入输出重定向详解

除以上常用的3种外, 3-9也可以作为文件描述符, 常被用来作为临时的中间描述符.

实例

1. command 2>errfile : command的错误重定向到文件errfile.
2. command 2>&1 | ...: command的错误重定向到标准输出, 错误和标准输出都通过管道传给下个命令.
3. <code>var=\`command 2>&1\`</code>: command的错误重定向到标准输出, 错误和标准输出都赋值给var.
4. command 3>&2 2>&1 1>&3 | ...:实现标准输出和错误输出的交换.
5. <code>var=\`command 3>&2 2>&1 1>&3\`</code>:实现标准输出和错误输出的交换.
6. command 2>&1 1>&2 | ...:错！！！不能实现标准输出和错误输出的交换. 因shell从左到右执行命令, 当执行完2>&1后, 错误输出已经和标准输出一样的, 再执行1>&2也没有意义.

"2>&1 file"和 "> file 2>&1"区别

1. cat food 2>&1 >file：错误输出到终端, 标准输出被重定向到文件file.
2. cat food >file 2>&1：标准输出被重定向到文件file, 然后错误输出也重定向到和标准输出一样, 所以也错误输出到文件file.

注意

• 通常打开的文件在进程推出的时候自动的关闭, 但是更好的办法是当你使用完以后立即关闭.
• 用m<&-来关闭输入文件描述符m, 用m>&-来关闭输出文件描述符m.
• 关闭标准输入用<&-, 关闭标准输出用>&-.
• 同时输出到终端和文件 copy source dest | tee.exe copyerror.txt

bash字符串操作

• Bash Shell字符串操作小结
• bash shell字符串的截取
• shell 字符串操作（长度, 查找, 替换）详解
• Bash shell 字符串操作符详解

理解 Bash 的 if 语句

bash中关于日期时间操作的常用自定义函数

awk

awk 文件读入可放于前面, < File awk ''

awk遍历外部数组（用于BEGIN段处理）awk -f 'BEGIN{for(i=1;i<ARGC;i++)print ARGV[i]}' ${extarr[@]}

awk中(有特殊含义, 匹配, 替换时必须用[(]进行

awk 替换反斜线, 使用 sub("\\\\", "/", txt)

awk替换多组字符串 gsub(/(A)|(B)|(C)/, "")

awk输出单引号, 使用两个单引号和\括起来, 也可使用ASCII码47

`bash awk ' BEGIN { print "'\''" print "\47", "\047" A="'\''"; print A A="\47"; print A } ' ```

awk 从文件getline时, 文件名不可拼接

例:

File="FileName"

getline < File".dat" 错误

Fdat=File".dat"; getline < Fdat 正确

awk二维数组

程默, [linux awk数组操作详细介绍] (http://www.cnblogs.com/chengmo/archive/2010/10/08/1846190.html)

awk在存储上并不支持多维数组, awk的多维数组在本质上是一维数组.

awk提供了逻辑上模拟二维数组的访问方式. 例如, array[2,4] = 1这样的访问是允许的.

awk使用一个特殊的字符串SUBSEP(\034)作为分割字段. 在上面的例子中, 关联数组array存储的键值实际上是2\0344.

类似一维数组的成员测试, 多维数组可以使用if( (i,j) in array )这样的语法, 但是下标必须放置在圆括号中. 类似一维数组的循环访问, 多维数组使用for( item in array )这样的语法遍历数组. 与一维数组不同的是, 多维数组必须使用split()函数来访问单独的下标分量. split ( item, subscr, SUBSEP)

awk 函数数组传递

• awk自定义函数把数组作为参数的问题

数组为全局变量, 传值调用

printf多变量格式输出

printf是bash的一个命令, 也是awk中的一个函数, 作为函数的printf与C语言中的printf功能相同, 但是比起fortran的write函数, 功能还是弱了些. 比如, 多个变量的格式化输出, 利用printf要把格式写多次, 或是利用循环, 都不如write的直接使用数字简洁. 而且, printf函数使用时, 格式的数目和变量的数目必须匹配, 否则就会出错.

但bash的内置printf命令, 使用时稍有不同, 功能也更强大一些

1. 不需要逗号,分隔
2. 输出变量数目不限

下面是使用示例

• fortran: write(*, '(3F8.3)') a, b, c
• awk: ptintf("%8.3f %8.3f %8.3f", a, b, c)
• bash: printf "%8.3f" a b c

利用这点, 我们可以写一个函数来模拟fortran write函数.

bash与awk间的变量传递

• awk与shell参数传递（或说变量传递）二三点

bash使用awk变量

awk使用bash变量

结论

1. awk使用bash变量, 212("'"VAR"'")通用, 若无空格21("''")亦可
2. 如不方便使用212格式引用, 可用 -v 格式
3. -v 使变量的作用域扩展至BEGIN段, 每调用一次变量都要加一个-v参数, 使用时无须$
4. 其他如BEGIN段不可用的引用awk '<awk expression>' "awkvar=$extvar" filename 和环境变量格式 var="this is a test"; export var; awk 'BEGIN{print ENVIRON["var"]}', 徒增混乱, 不建议使用

awk正则表达式中使用变量

1. 只能引用bash变量, 不能引用awk变量
2. 若想使用awk变量, 需要用匹配运算 ~
3. 模式正则表达式中引用bash变量 '"$bshVar"'
4. awk '{command}' 中引用变量用单引号
5. 确切来说awk的正则表达式中无法引用awk变量, 但awk的匹配形式~/ /可以把两个/去掉, 虽然不能用正则但可以引用awk变量
6. 使用awk变量存储正则表达式, 且该正则表达式中可以通过字符串拼接方式引用awk变量
7. 当正则表达式中需要引用awk变量时, 也可以直接在~后写正则表达式

测试文件BashAWK

Blank bshVar
Blank awkVar
  Blank bshVar
Blank bshVar

awk的类heredoc用法

• awk here documentsawk here documents

bash的heredoc在输出大段文字时很方便, perl中有类似的用法, awk中没有, 但是可以模拟一下. 下面是代码