第 9 堂課：正規表示法與 shell script 初探

9.1：正規表示法的應用

使用者在操作電子郵件時，常常會發現到許多郵件被丟到垃圾桶或者是被判定為病毒郵件，這些判定的方式，很多就是透過『正規表示法』來處理的！ 正規表示法 (Regular Expression) 就是處理字串的方法，他是以行為單位來進行字串的處理行為，正規表示法透過一些特殊符號的輔助， 可以讓使用者輕易的達到『搜尋/刪除/取代』某特定字串的處理程序！

9.1.1：grep 指令的應用

由於正規表示法牽涉到資料的擷取，因此讀者們先了解一下最簡單的資料擷取指令: grep 的進階用法。例如，找出 /etc/passwd 當中， 含有 student 的那行，且列出行號：

[student@localhost ~]$ grep -n student /etc/passwd
44:student:x:1000:1000:student:/home/student:/bin/bash

讀者們會看到輸出的資訊中，最前面會多出一個行號的資訊，就可以讓使用者知道該資訊來自檔案的那一行這樣。 另外，當使用者有觀察開機流程所產生的資訊時，例如想要查詢開機過程產生的問題等等，可以使用 dmesg 這個指令。 只是這個指令輸出的資訊量非常龐大。若用戶僅須知道某張網路卡的相關資訊，那該如何處理呢？ 先讓我們來查詢一下網路卡的代號：

# 單純使用 dmesg 的情況下，資料量相當龐大
[student@localhost ~]$ dmesg
......
[    9.775271] virbr0: port 1(virbr0-nic) entered listening state
[    9.839811] virbr0: port 1(virbr0-nic) entered disabled state
[   10.359755] f 4026531860#85: failed to wait on release 20 after...
[   11.638731] snd_hda_intel 0000:00:06.0: Invalid position buffer...

# 使用底下的方法可以找到網路卡的代號
[student@localhost ~]$ ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
    link/ether 52:54:00:85:b1:54 brd ff:ff:ff:ff:ff:ff
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default qlen 1000
    link/ether 52:54:00:b0:2f:5d brd ff:ff:ff:ff:ff:ff
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc fq_codel master virbr0 state DOWN mode DEFAULT group default qlen 1000
    link/ether 52:54:00:b0:2f:5d brd ff:ff:ff:ff:ff:ff

上面輸出的 ens3 就是網卡代號，而 lo 與 virbr0 等則是內部迴圈測試網卡與虛擬機器的橋接器，那個可以暫時略過不理。 現在，讓我們從 dmesg 的開機訊息中，找出網路卡相關的訊息吧：

[student@localhost ~]$ dmesg | grep -n -i ens3
552:[    1.853119] virtio_net virtio0 ens3: renamed from eth0
616:[    7.911858] IPv6: ADDRCONF(NETDEV_UP): ens3: link is not ready

大概在 616 行是比較重要的項目。那如果我們還需要知道該行之前 (before) 的 4 行以及之後 (after) 的 3 行， 以了解這行前後文的話，則可以這樣處理：

[student@localhost ~]$ dmesg | grep -n -A 3 -B 4 -i ens3
612-[    6.424222] RPC: Registered tcp transport module.
613-[    6.424223] RPC: Registered tcp NFSv4.1 backchannel transport module.
614-[    7.577042] f 4026531841#1: failed to wait on release 1 after spincount 301
615-[    7.905917] bridge: filtering via arp/ip/ip6tables is no longer available by default. Update your scripts to load br_netfilter if you need this.
616:[    7.911858] IPv6: ADDRCONF(NETDEV_UP): ens3: link is not ready  <==以這行為基準
617-[    7.926902] tun: Universal TUN/TAP device driver, 1.6
618-[    7.930979] virbr0: port 1(virbr0-nic) entered blocking state
619-[    7.930981] virbr0: port 1(virbr0-nic) entered disabled state

9.1.2：正規表示法的符號意義

正規表示法既然是透過一些字符來作為資料擷取的判斷，那麼有哪些慣用的符號呢？大概有底下這些基本的符號：

另外，由於字元擷取通常會有大小寫、數字、特殊字元等等的差異，因此我們也能夠使用如下的符號來代表某些特殊字元：

請操作者進行如下的例題來處理相關任務：

9.1.3：sed 工具的使用

• 利用 sed 進行資料的取代

sed 也是支援正規表示法的一項工具軟體，具有很多很好用的功能在內！過去我們曾經使用過 ifconfig 與 awk 來找到 IP ， 現在讓我們使用 sed 來處理 IP 的設定。最基礎的 sed 功能為取代，如下所示：

[student@localhost ~]$ sed 's/舊字串/新字串/g' 檔案內容

使用者只要替換『新舊字串』內容，即可處理相關的字串修訂。現在讓我們來處理 IP 的擷取。使用 ifconfig ens3 來輸出網路資料， 之後以 grep 取出 inet 那一行 (注意： ens3 請依據你的系統網卡來調整)：

[student@localhost ~]$ ifconfig ens3 | grep 'inet[[:space:]]'
        inet 172.16.5.237  netmask 255.255.0.0  broadcast 172.16.255.255

使用 sed 取代開頭到 inet 空白的項目：

[student@localhost ~]$ ifconfig ens3 | grep 'inet[[:space:]]' | \
> sed 's/^.*inet[[:space:]]//g'
172.16.5.237  netmask 255.255.0.0  broadcast 172.16.255.255

再接著取消空白netmask 之後的訊息

[student@localhost ~]$ ifconfig ens3 | grep 'inet[[:space:]]' | \
> sed 's/^.*inet[[:space:]]//g' | \
> sed 's/[[:space:]]*netmask.*$//g'
172.16.5.237

• 以 sed 進行資料的輸出

除了替換資料之外，sed 還可以擷取出特定的關鍵行數，例如只想要取出 10-15 行的 /etc/passwd 內容時，可以這樣做：

[student@localhost ~]$ cat -n /etc/passwd | sed -n '10,15p' 

上面這個動作在處理一些腳本化程式時，相當有幫助！而如果想要直接修改檔案內容時，例如想要將 .bashrc 內的 function 改成大寫時， 也可以這樣做：

[student@localhost ~]$ sed 's/function/FUNCTION/g' .bashrc
.......
# User specific aliases and FUNCTIONs >==這裡會變大寫

[student@localhost ~]$ sed -i 's/function/FUNCTION/g' .bashrc

加上 -i 選項後，該改變直接寫入檔案，且不會在螢幕上輸出了！因此使用上需要特別注意！

9.2：學習 shell script

shell script 對管理員來說，是一項非常好用的工具！請讀者們一定要自己手動設計過一次相關的腳本程式， 而且能夠針對自己管理的伺服器進行一些例行工作的優化，才會更有感覺。

9.2.1：基礎 shell script 的撰寫與執行

shell script 的撰寫其實沒有很難，基本上需要注意到：

• 指令的執行是從上而下、從左而右的分析與執行 (這點跟傳統程式語言差很大！)；
• 指令的下達中，指令、選項與參數間的多個空白都會被忽略掉；
• 空白行也將被忽略掉，並且 [tab] 按鍵所推開的空白同樣視為空白鍵；
• 如果讀取到一個 Enter 符號 (CR) ，就嘗試開始執行該行 (或該串) 命令；
• 至於如果一行的內容太多，則可以使用『 \[Enter] 』來延伸至下一行；
• 『 # 』可做為註解！任何加在 # 後面的資料將全部被視為註解文字而被忽略！

至於 shell script 的執行，例如有名為 /home/student/shell.sh 的 script 時，可以用底下的方法：

• 直接指令下達： shell.sh 檔案必須要具備可讀與可執行 (rx) 的權限，然後：
  • 絕對路徑：使用 /home/student/shell.sh 來下達指令；
  • 相對路徑：假設工作目錄在 /home/student/ ，則使用 ./shell.sh 來執行
  • 變數『PATH』功能：將 shell.sh 放在 PATH 指定的目錄內，例如： ~/bin/
• 以 bash 程式來執行：透過『 bash shell.sh 』或『 sh shell.sh 』來執行

底下我們將使用 student 的身份，並在 ~/bin 底下建立多個 shell script 來作為練習。首先，如果操作者執行 myid.sh 時， 系統會輸出這個帳號的 id 指令輸出訊息，並且輸出使用者的家目錄 (${HOME})、以及歷史命令紀錄筆數 (${HISTSIZE})， 最後列出所有的命令別名 (alias) 時，我們可以這樣做：

1. 請先宣告使用的 script 為 bash ；
2. 請先說明程式的功能 (需要用 # 註解)
3. 請先說明程式的撰寫者 (需要用 # 註解)
4. 秀出『 This script will show your account messages 』
5. 秀出『 The 'id' command output is: 』
6. 秀出 id 這個指令的結果
7. 秀出『 your user's home is: ${HOME} 』的結果
8. 秀出『 your history record: ${HISTSIZE} 』的結果
9. 秀出『 your command aliases: 』
10. 顯示出 alias 的結果
11. 顯示出家目錄的檔名結果

上述的結果一項一項撰寫成為 myid.sh 的內容如下：

[student@localhost ~]$ mkdir bin
[student@localhost ~]$ cd bin
[student@localhost bin]$ vim myid.sh
#!/bin/bash
# This script will use id, echo to show account's messages
# write by VBird 2016/04/27
echo "This script will show your accout messages."
echo "The 'id' command output is: "
id
echo "your user's home is: ${HOME}"
echo "your history record: ${HISTSIZE}"
echo "your command aliases: "
alias
echo "your home dir's filenames: "
ll ~

9.2.2：shell script 的執行環境

之前曾經談過程序的觀察，且程序之間是有相依性的，因此可以使用 pstree 來觀察程序的相依行為。 那麼使用 shell script 時，他與當前的 shell 有無關係呢？底下舉例來瞧瞧。如果你有一個如下的腳本， 該如何進入到該目錄去？

[student@localhost ~]$ cd ~/bin
[student@localhost bin]$ vim gototmp.sh
#!/bin/bash
# this shell script will take you togo /tmp directory.
# VBird 2016/05/02
cd /tmp
pwd
[student@localhost bin]$ chmod a+x gototmp.sh

• 使用 source 或 . 來執行腳本

事實上，執行腳本有基本的兩種方式：

• 直接產生一個新的程序 (process) 來執行，例如 bash script.sh、 ./script.sh 都屬於這一種；
• 將 script.sh 的指令，呼叫進來目前的這個 bash process 執行，而不是產生一個新的 process

上述的第二種就是透過 source 或 . 來處理的。現在，請使用『 source ~/bin/gototmp.sh 』指令， 再次查閱一下你的工作目錄是否正確的進入到 /tmp 了？

[student@localhost bin]$ source gototmp.sh
/tmp
[student@localhost tmp]$ pwd
/tmp

9.2.3：以對談式腳本及外帶參數計算 pi

在第二堂課我們曾經使用過 bc 來計算數學的 pi，亦即使用『echo "scale=10; 4*a(1)" | bc -lq』來計算 pi。 而如果需要輸出更正確的 pi 值，可以將 scale 的參數放大，例如『echo "scale=20; 4*a(1)" | bc -lq』來計算。 我們是否能夠使用一個變數，讓該變數帶入腳本後，讓用戶可以與系統對談呢？這時有兩種基本的方法可以達到這個目的：

• 以 read 作為對談式腳本的設計依據
• 以 ${1} 等作為外帶參數的設計依據

• 使用 read 讓用戶輸入參數：

讀者可以先理解 read 的用法：

[student@localhost ~]$ read -p 'Input your name: ' name1
Input your name: VBird Tsai

[student@localhost ~]$ echo ${name1}
VBird Tsai

亦即 read 會將使用者輸入的資料變成變數內容，之後就可以輕易的進行變數設定的任務。因此，若需要讓使用者與程式互動來輸入 pi 的計算精確度， 可以寫下如下的腳本：

[student@localhost ~]$ vim ~/bin/mypi.sh
#!/bin/bash
# Program:
#	User input a scale number to calculate pi number.
# History:
# 2015/07/16	VBird	First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
echo -e "This program will calculate pi value. \n"
echo -e "You should input a float number to calculate pi value.\n"
read -p "The scale number (10~10000) ? " num
echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

[student@localhost ~]$ chmod a+x ~/bin/mypi.sh
[student@localhost ~]$ mypi.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (10~10000) ? 50
Starting calculate pi value.  Be patient.
3.14159265358979323846264338327950288419716939937508

real    0m0.001s
user    0m0.000s
sys     0m0.002s

此時，只要用戶執行 mypi.sh ，就可以手動輸入 10 到 10000 之間不等的數值，讓系統直接進行運算工作！此外你得要注意， 在 echo 顯示資訊時，可以使用 \t, \n 等方法來處理斷行、[tab] 按鈕的樣式～只是需要加上 -e 的選項才行！你可以『 man echo 』查詢可用的變數！

• 透過外帶參數的功能執行：

在第 8 堂課的課程內容曾經短暫介紹過 shell 內有個名為 ${1} 的變數，即是 shell script 的外帶參數。事實上，外帶參數可以有多個， 相關的『數字變數』有底下的相關性：

/path/to/scriptname  opt1  opt2  opt3  opt4 
       $0             $1    $2    $3    $4

執行的腳本檔名為 ${0} 這個變數，第一個接的參數就是 ${1}。所以，只要在 script 裡面善用 ${1} ，就可以很簡單的立即下達某些指令功能了！ 除了這些數字的變數之外，尚有底下這些常見的變數可以在 shell script 內呼叫：

• $# ：代表後接的參數『個數』，以上表為例這裡顯示為『 4 』；
• "$@" ：代表『 "$1" "$2" "$3" "$4" 』之意，每個變數是獨立的(用雙引號括起來)；
• "$*" ：代表『 "$1c$2c$3c$4" 』，其中 c 為分隔字元，預設為空白鍵， 所以本例中代表『 "$1 $2 $3 $4" 』之意。

在某些時刻，執行腳本可能是在背景中，因此不可能跟使用者互動 (記得 jobs, fg, bg 的情況下)，此時就能夠透過這種外帶參數的方式來執行。 例如我們將 mypi.sh 修改成外帶參數的 mypi2.sh ，讀者可以這樣嘗試：

[student@localhost ~]$ cp ~/bin/mypi.sh ~/bin/mypi2.sh
[student@localhost ~]$ vim ~/bin/mypi2.sh
#!/bin/bash
# Program:
#	User input a scale number to calculate pi number.
# History:
# 2015/07/16	VBird	First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
num=${1}
echo -e "This program will calculate pi value. \n"
#read -p "The scale number (10~10000) ? " num
echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

[student@localhost ~]$ chmod a+x ~/bin/mypi2.sh
[student@localhost ~]$ mypi2.sh 50
This program will calculate pi value.

Starting calculate pi value.  Be patient.
3.14159265358979323846264338327950288419716939937508

real    0m0.001s
user    0m0.000s
sys     0m0.002s

讀者可以發現，mypi2.sh 將 mypi.sh 內的兩行輸出 (說明程式功能與 read 的功能) 取消，而在不修改其他程式碼的情況下， 讓 num=${1} 來讓精確度使用第一個外帶參數的方式來處理。

9.2.4：透過 if .. then 設計條件判斷

讀者可以思考 mypi.sh 這個腳本的運作，雖然指定使用者應該要輸入 10~10000 的數值，但是卻沒有在腳本中進行防呆， 因此，當使用者輸入 (1)非為數值的字串及 (2)輸入超過數值範圍時，就可能發生程式誤判的情況，如下：

[student@localhost ~]$ mypi.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (10~10000) ? whoami
Starting calculate pi value.  Be patient.
0

real    0m0.001s
user    0m0.001s
sys     0m0.001s

[student@localhost ~]$ mypi.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (10~10000) ?  <==這裡直接按下 enter 就好
Starting calculate pi value.  Be patient.
(standard_in) 1: syntax error

real    0m0.001s
user    0m0.000s
sys     0m0.002s

此時就會發生不可預期的錯誤。讀者在設計程式腳本時，應該就用戶可能會輸入的字元或通常的運作方式進行分析， 先設計好防呆，在程式碼的運作上比較不容易出問題。想要達成這種防呆的機制，需要用到條件判斷式的支援，一般 shell script 條件判斷的語法為：

if [ 條件判斷式 ]; then
	當條件判斷式成立時，可以進行的指令工作內容；
fi   <==將 if 反過來寫，就成為 fi 啦！結束 if 之意！

相關條件設定的方式已經在第八堂課談過，請自行前往參閱。若有多重條件判斷，則使用下列方式：

# 一個條件判斷，分成功進行與失敗進行 (else)
if [ 條件判斷式 ]; then
	當條件判斷式成立時，可以進行的指令工作內容；
else
	當條件判斷式不成立時，可以進行的指令工作內容；
fi

如果考慮更複雜的情況，則可以使用這個語法：

# 多個條件判斷 (if ... elif ... elif ... else) 分多種不同情況執行
if [ 條件判斷式一 ]; then
	當條件判斷式一成立時，可以進行的指令工作內容；
elif [ 條件判斷式二 ]; then
	當條件判斷式二成立時，可以進行的指令工作內容；
else
	當條件判斷式一與二均不成立時，可以進行的指令工作內容；
fi

如果考慮兩個以上的條件混合執行時，就需要使用 -a 或 -o 的協助。

# 兩個條件都要成立才算成立的情況：
if [ 條件判斷式一 -a 條件判斷二 ]; then
	兩個條件都成立，這時才執行 (and 的概念)
fi

# 兩個條件中，任何一個條件成立都算 OK 的情況：
if [ 條件判斷式一 -o 條件判斷二 ]; then
	隨便哪一個條件成立，都可以執行 (or 的概念)
fi

以上面的語法來補足 mypi.sh 的防呆，大致防呆的思考可以是：

1. 使用者輸入的資料非為數值的狀態：
   • 不可以是空白也不可以有非數字的字元存在
   • 若有上述狀況，則數值改為預設的 20
2. 使用者輸入的資料不在規範的範圍內：
   • 若小於 10 則以 10 取代；
   • 若大於 10000 則以 10000 取代；

大致的防呆流程就像上面所敘述，接下來讀者們可以使用語法來將這些流程加入 mypi.sh：

[student@localhost ~]$ vim ~/bin/mypi.sh
#!/bin/bash
# Program:
#	User input a scale number to calculate pi number.
# History:
# 2015/07/16	VBird	First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
echo -e "This program will calculate pi value. \n"
echo -e "You should input a float number to calculate pi value.\n"
read -p "The scale number (10~10000) ? " num

# 判斷是否有非為數字的字元，若有，則會出現，若無則是空白
checking=$( echo ${num} | grep '[^0-9]' )
if [ "${num}" == "" -o "${checking}" != "" ]; then
        num=20
fi

if [ "${num}" -le 10 ]; then
        num=10
elif [ "${num}" -ge 10000 ]; then
        num=10000
fi
echo "Use scale number: ${num}"

echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

接下來請執行數次 mypi.sh ，並分別輸入不同的資料 (Enter, 文字, 小於 10 的數字, 大於 10000 的數字等等)， 以確認自己的處理方式應為可行。

9.2.5：以 case .. esac 設計條件判斷

若讀者只想讓 mypi.sh 的操作者體驗一下 pi 的計算，因此只想給予 20, 100, 1000 三個數值， 當使用者不是輸入此類數值，則告知對方僅能輸入這三個數值。若以 if ... then 的方式來說，需要填寫的判斷式稍嫌多了些。 此時可以使用 case ... esac 來做設計。

case  $變數名稱 in   <==關鍵字為 case ，還有變數前有錢字號
  "第一個變數內容")   <==每個變數內容建議用雙引號括起來，關鍵字則為小括號 )
	程式段
	;;            <==每個類別結尾使用兩個連續的分號來處理！
  "第二個變數內容")
	程式段
	;;
  *)                  <==最後一個變數內容都會用 * 來代表所有其他值
	不包含第一個變數內容與第二個變數內容的其他程式執行段
	exit 1
	;;
esac                  <==最終的 case 結尾！『反過來寫』思考一下！

請使用上述的語法，搭配僅能輸入 20, 100, 1000 三個數值來撰寫 mypi3.sh 腳本：

[student@localhost ~]$ cp ~/bin/mypi.sh ~/bin/mypi3.sh
[student@localhost ~]$ vim ~/bin/mypi3.sh
#!/bin/bash
# Program:
#       User input a scale number to calculate pi number.
# History:
# 2015/07/16    VBird   First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
echo -e "This program will calculate pi value. \n"
echo -e "You should input a float number to calculate pi value.\n"
read -p "The scale number (20,100,1000) ? " num

case ${num} in
"20")
        echo "Your input is 20"
        ;;
"100")
        echo "Your input is 100"
        ;;
"1000")
        echo "Your input is 1000"
        ;;
*)
        echo "You MUST input 20|100|1000"
        echo "I stop here"
        exit 0
        ;;
esac

echo -e "Starting calculate pi value.  Be patient."
time echo "scale=${num}; 4*a(1)" | bc -lq

[student@localhost ~]$ chmod a+x ~/bin/mypi3.sh
[student@localhost ~]$ mypi3.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (20,100,1000) ? 30
You MUST input 20|100|1000
I stop here

[student@localhost ~]$ mypi3.sh
This program will calculate pi value.

You should input a float number to calculate pi value.

The scale number (20,100,1000) ? 100
Your input is 100
Starting calculate pi value.  Be patient.
3.141592653589793238462643383279502884197169399375105820974944592307\
8164062862089986280348253421170676

real    0m0.003s
user    0m0.003s
sys     0m0.000s

這樣就可以縮減使用者輸入的參數了！