学生信的那些事儿之七 - Linux基础之Shell脚本编程

沿着前面的轨迹，接下来是Linux中shell脚本的学习。这对于生信工程师后续处理大量 (海量更合适些) 数据是非常非常重要的，但是同样的，作为一个有点古板的人，对于"脚本"是什么意思我都死磕了好久。主要觉得有些抽象，尤其是跟生信的同事讨论项目分析部分的问题时，他们经常会说道这个词，在他们意识里这是个不言自明的术语，殊不知对外行人而言 (比如我)，那简直就是无情的"知识的诅咒"。经常是我假装听懂了，然后继续讨论下面的问题，形成一个模糊的印象。

百度上的解释是：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算 *** 作动作的组合，在其中可以实现一定的逻辑分支等。不知道你能不能看懂，反正我开始的时候真是一知半解。

鸟哥私房菜的解释是：shell script是利用 shell 的功能所写的一个"程序"，这个程序是使用纯文本文件，将一些shell的语法与命令(含外部命令)写在里面，搭配正则表达式、管道命令与数据流重定向等功能，以达到我们所想要的处理的目的。不明觉厉，好像更看不懂了···

Jude 的简单粗暴大白话解释是：脚本就是Linux中很多命令按照一定规则的组合，以实现某个特定的功能。Linux中有很多简单的命令，往往只是进行了简单的对话，比如 cd 就是进入到某个目录，简单直接。但是如果我想进入某个目录A，然后在目录A中创建目录B，再在目录B中创建文本C呢？当然可以一步一步 *** 作，如果想要一步到位呢，那就可以用脚本，把三个命令写在一起，一起执行。好像有点啰嗦···

或者从英语的角度去理解，脚本的对应英文是Script，而这个单词的中文释义中还有剧本的意思。剧本就好理解了啊，剧本就是导演(生信工程师)基于某个主旨(要实现的目标)按照一定的手法(规则)所写的一个故事。不管是哪个演员，都得按照剧本演。所以，学好英语对于生信也是有帮助的~

按照脚本的复杂程度可以分为：

这个无需多说，其实就是若干个简单命令的顺序排列，执行脚本后会按照命令的前后关系从前往后一一执行。

相对于简单的基本脚本，结构化的命令脚本可以施加逻辑流程控制，从而改变程序(命令)执行的顺序。基本脚本中的命令就是从上往下执行，但是结构化的命令脚本可以根据逻辑判断重复或者跳过某些命令。

常用的结构化命令(语句)有：

后面还有什么嵌套循环啊啥的，不过我觉得上面的7中命令学到家了，应该可以应付大部分在生信分析里面的应用了。

记得高中的时候，物理老师(也是班主任)在给我们讲解习题时有个有意思的套路：不管什么难题现在下面写个"答："，以示自己解决问题的决心，也是一种正向的心理暗示。脚本编写也是有套路的，不过总的来说还是比较简单。

对于简单的脚本(超级简单的那种)，直接几个命令连在一起即可，中间用"；"隔开。

对于更长更复杂的脚本，一般需要创建一个文本，并在里面编辑。这就涉及到了文本编辑器，比较常用和简单的一般有nano和vim，实在很简单，规则也容易理解，教程随手可得，不多说。

比如用vim创建了一个脚本之后，具体的语法(套路)：

ok，脚本写完了，怎么让脚本开始工作呢？这有涉及到之前讲过的环境变量和相对路径、绝对路径了。方法有三：

就这么多吧，应该有点感觉到了，剩下的就是狂练狂练了~

虽然觉得不适合用循环嵌套来实现，但毕竟还是可以做到的。

用计数器来同步内外循环即可。

#!/bin/bash

unset a 

unset c

count1=0

for a in 000 210 220 451 240 

do

  let count1+=1

  count2=0

  for c in 001 002 003 004 005 

  do  

    let count2+=1

    [ $count2 -eq $count1 ] && echo $c && break

  done

  echo $a

done

首先要让原始文件中的重复行只出现一次并将结果保存到两个新文件（uniq1和uniq2）中。

再逐行读取两个新文件内容并使用for循环嵌套，遍历进行字段比较，将两个新文件相同内容输出到thesame文件，再在两个新文件中使用sed命令将换行的空格替换成 |，进一步反向过滤掉thesame文件内容就分别得到了两文件的独有内容。由于thesame文件使用了追加的方式，如果第二次执行脚本就会将新的内容追加到第一次执行内容之后，而不能单独得出第二次比对的结果，所以在开头设定如果之前有脚本运行产生的thesame文件存在，那么就删掉该文件重新建立新的文件，这样第二次文本对比的结果就不会受第一次的影响。

一、简介

Shell编程中循环命令用于特定条件下决定某些语句重复执行的控制方式，有三种常用的循环语句：for、while和until。while循环和for循环属于“当型循环”，而until属于“直到型循环”。循环控制符：break和continue控制流程转向。

二、详解

1、for循环

（1）for循环有三种结构：一种是列表for循环，第二种是不带列表for循环。第三种是类C风格的for循环。

（2）列表for循环

#!/bin/bashfor varible1 in {15}#for varible1 in 1 2 3 4 5doecho "Hello, Welcome $varible1 times "done

do和done之间的命令称为循环体，执行次数和list列表中常数或字符串的个数相同。for循环，首先将in后list列表的第一个常数或字符串赋值给循环变量，然后执行循环体，以此执行list，最后执行done命令后的命令序列。

Sheel支持列表for循环使用略写的计数方式，1～5的范围用{15}表示（大括号不能去掉，否则会当作一个字符串处理）。

Sheel中还支持按规定的步数进行跳跃的方式实现列表for循环，例如计算1～100内所有的奇数之和。      

#!/bin/bashsum=0for i in {11002}dolet "sum+=i"doneecho "sum=$sum"

      通过i的按步数2不断递增，计算sum值为2500。同样可以使用seq命令实现按2递增来计算1～100内的所有奇数之和，for i in $(seq 1 2 100)，seq表示起始数为1，跳跃的步数为2，结束条件值为100。

for循环对字符串进行 *** 作，例如通过for循环显示当前目录下所有的文件。

#!/bin/bashfor file in $( ls )#for file in doecho "file: $file"done

也可一使用for file in ，通配符产生文件名扩展，匹配当前目录下的所有文件。

for通过命令行来传递脚本中for循环列表参数

#!/bin/bashecho "number of arguments is $#"echo "What you input is: "for argument in "$@"doecho "$argument"done

$#表示参数的个数，$@表示参数列表而$则把所有的参数当作一个字符串显示。

（3）不带列表for循环

由用户制定参数和参数的个数，与上述的for循环列表参数功能相同。

#!/bin/bashecho "number of arguments is $#"echo "What you input is: "for argumentdoecho "$argument"done

比上述代码少了$@参数列表，$参数字符串。

（4）类C风格的for循环

也被称为计次循环

#!/bin/bashfor((integer = 1; integer <= 5; integer++))do    echo "$integer"done

for中第一个表达式（integer = 1）是循环变量赋初值的语句，第二个表达式（integer <= 5）决定是否进行循环的表达式，退出状态为非0时将退出for循环执行done后的命令（与C中的for循环条件是刚好相反的）。第三个表达式（integer++）用于改变循环变量的语句。

Sheel中不运行使用非整数类型的数作为循环变量，循环条件被忽略则默认的退出状态是0，for((;;))为死循环。

类C的for循环计算1～100内所有的奇数之和。

#!/bin/bashsum=0for(( i = 1; i <= 100; i = i + 2 ))dolet "sum += i"doneecho "sum=$sum"

2、while循环

也称为前测试循环语句，重复次数是利用一个条件来控制是否继续重复执行这个语句。为了避免死循环，必须保证循环体中包含循环出口条件即表达式存在退出状态为非0的情况。

（1）计数器控制的while循环

#!/bin/bashsum=0i=1while(( i <= 100 ))dolet "sum+=i"let "i += 2"   doneecho "sum=$sum"

      指定了循环的次数500，初始化计数器值为1，不断测试循环条件i是否小于等于100。在循环条件中设置了计数器加2来计算1～100内所有的奇数之和。

（2）结束标记控制的while循环

设置一个特殊的数据值（结束标记）来结束while循环。

#!/bin/bashecho "Please input the num(1-10) "read numwhile [[ "$num" != 4 ]]do if [ "$num" -lt 4 ]thenecho "Too small Try again!"read numelif [ "$num" -gt 4 ]thenecho "To high Try again" read numelseexit 0fidoneecho "Congratulation, you are right! "

例：通过结束标记控制实现阶乘的 *** 作

#!/bin/bashecho "Please input the num "read numfactorial=1while [ "$num" -gt 0 ]dolet "factorial= factorialnum"let "num--"doneecho "The factorial is $factorial"

（3）标志控制的while循环

使用用户输入的标志值来控制循环的结束（避免不知道循环结束标志的条件）。

#!/bin/bashecho "Please input the num "read numsum=0i=1signal=0while [[ "$signal" -ne 1 ]]doif [ "$i" -eq "$num" ]thenlet "signal=1"let "sum+=i"echo "1+2++$num=$sum"elselet "sum=sum+i"let "i++"fidone

标志控制的while循环求1～n的累加和，循环变量值小于100执行else累加同时循环变量加1，直到循环变量值等于100将标志值设置为1，并输出。

标志控制的while循环与结束标记控制的while循环的区别是用户无法确定无法确定结束标志，只能程序运行后确定结束标志。两者也可以相互转化。

（4）命令行控制的while循环

使用命令行来指定输出参数和参数个数，通常与shift结合使用，shift命令使位置变量下移一位（$2代替$1、$3代替$2，并使$#变量递减），当最后一个参数显示给用户，$#会等于0，$也等于空。

#!/bin/bashecho "number of arguments is $#"echo "What you input is: "while [[ "$" != "" ]]doecho "$1"shiftdone

循环条件可以改写为while[[ "$#" -ne 0 ]]，等于0时退出while循环

3、until循环

until命令和while命令类似，while能实现的脚本until同样也可以实现，但区别是until循环的退出状态是不为0，退出状态是为0（与while刚好相反），即whie循环在条件为真时继续执行循环而until则在条件为假时执行循环。

#!/bin/bashi=0until [[ "$i" -gt 5 ]]    #大于5dolet "square=ii"echo "$i $i = $square"let "i++"done

4、循环嵌套

一个循环体内又包含另一个完整的循环结构，在外部循环的每次执行过程中都会触发内部循环，for、while、until可以相互嵌套。

（1）嵌套循环实现九九乘法表

#!/bin/bashfor (( i = 1; i <=9; i++ ))dofor (( j=1; j <= i; j++ ))dolet "temp = i j"             echo -n "$i$j=$temp  "     done           echo ""   #output newlinedone

（2）for循环嵌套实现图案排列

#!/bin/bashfor ((i=1; i <= 9; i++))doj=9;while ((j > i))doecho -n " "let "j--"donek=1while ((k <= i))doecho -n ""let "k++"doneecho ""done

外层for循环嵌套了两个内层while循环，先打印空格在打印号形成图案。

5、循环控制符break和continue

若须退出循环可使用break循环控制符，若退出本次循环执行后继续循环可使用continue循环控制符。

（1）break

在for、while和until循环中break可强行退出循环，break语句仅能退出当前的循环，如果是两层循环嵌套，则需要在外层循环中使用break。

#!/bin/bashsum=0for (( i=1; i <= 100; i++))do let "sum+=i"if [ "$sum" -gt 1000 ]thenecho "1+2++$i=$sum"breakfidone

（2）continue

在for、while和until中用于让脚本跳过其后面的语句，执行下一次循环。continue用于显示100内能被7整除的数。

#!/bin/bashm=1for (( i=1; i < 100; i++ ))dolet "temp1=i%7"         #被7整除if [ "$temp1" -ne 0 ]thencontinuefiecho -n "$i  "let "temp2=m%7"          #7个数字换一行if  [ "$temp2" -eq 0 ]thenecho ""filet "m++"done

6、select结构

select结构从技术角度看不能算是循环结构，只是相似而已，它是bash的扩展结构用于交互式菜单显示，功能类似于case结构比case的交互性要好。

（1）select带参数列表

#!/bin/bashecho "What is your favourite color "select color in "red" "blue" "green" "white" "black"do breakdoneecho "You have selected $color"

（2）select不带参数列表

该结构通过命令行来传递参数列表，由用户自己设定参数列表。

#!/bin/bashecho "What is your favourite color "select colordo breakdoneecho "You have selected $color"

三、总结

（1）循环结构中相互嵌套组成更复杂的流程，并结合break和continue可以实现很多复杂的运算。

（2）可以结合其他语言的语法有助于更好的理解循环结构。

（3）熟练应用还需要大量的重复练习，重写优秀的shell代码也是一种很好的方式。

我在winos中看过这个问题，你的问题是文件正在使用，同时还有临时变量$_的问题。你的解决方案就是正确的，脚本并不会因为你写成一句而提高效率，有时会造成更大的资源浪费。

嵌套执行的语法是一个用临时变量一个用变量：

$u2=get-content d:\u2csv

foreach($dep in (import-csv d:\depcsv)){

$u2=$u2replace($depzw,$depyw)

}

$u2|set-content d:\u2csv

这样单循环就能解决问题。

下面是用嵌套的方式来解决：

$u2=import-csv d:\u2csv

foreach($dep in (import-csv d:\depcsv)){

$u2|{$_zw -eq $depzw}|%($_zw=$depyw)

}

$u2|Export-Csv d:\u2csv -not -Enc oem

这里还是使用了变量$u2，在变量里修改，然后统一导出。

以上就是关于学生信的那些事儿之七 - Linux基础之Shell脚本编程全部的内容，包括:学生信的那些事儿之七 - Linux基础之Shell脚本编程、Shell脚本如何控制外循环一次内循环一次，请教高手！！！、shell如何同时读取两个序列文件进行比对等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！