Awk是一個(gè)文本處理程序，我更愿意將其稱為教官，這樣聽(tīng)起來(lái)更形象。

我喜歡把各種文本的內(nèi)容稱為士兵，而教官負(fù)責(zé)管理培訓(xùn)它們。

日志統(tǒng)計(jì)

開(kāi)發(fā)web的人員知道，我們經(jīng)常需要查看nginx的服務(wù)器來(lái)統(tǒng)計(jì)來(lái)訪者的記錄。而awk教官可以很方便幫我們處理好存放在日志中的士兵，可以幫助我們選出最高的士兵，可以幫助我們選出經(jīng)常出操的士兵，可以幫我們選出哪些士兵經(jīng)常在一起。

看下面的一個(gè)需求：我們需要看看經(jīng)常訪問(wèn)網(wǎng)站的有哪些ip，并且把它們的訪問(wèn)次數(shù)統(tǒng)計(jì)出來(lái)。初看這個(gè)問(wèn)題似乎很復(fù)雜，不過(guò)不要擔(dān)心，有問(wèn)題，找教官，我們只要把我們的要求告訴教官，它就會(huì)告訴我們把結(jié)果，這很像sql語(yǔ)句，我們只要寫出要獲取的數(shù)據(jù)就行，至于怎么獲取，全部交給數(shù)據(jù)庫(kù)自己處理。

我們的awk語(yǔ)句如下：

awk '{sum[$1]++}END{for (ip in sum) print ip,sum[ip]}' access.log|sort -rn -k 2|head

結(jié)果如下

66.98.123.241 4849144.34.223.61 730101.133.226.32 33023.83.246.193 279101.133.140.228 188101.133.147.20 174101.133.224.74 158101.133.224.22 15159.109.210.199 13247.240.89.111 63

我們簡(jiǎn)單分析下我們寫的語(yǔ)句

awk這個(gè)不用說(shuō)，就是我們向教官打招呼'{sum[$1]++}END{for (ip in sum) print ip,sum[ip]}'這個(gè)單引號(hào)包含的就是我們向教官詢問(wèn)的問(wèn)題，其中第一個(gè){}表示我們要循環(huán)每一行，然后把ip保存到sum數(shù)組中，第二個(gè){}表示我們要把相同的ip求和統(tǒng)計(jì)出來(lái)，其中的END表示最后執(zhí)行，當(dāng)然在第一個(gè){}之前我們也可以有一個(gè)BEGIN。access.log是我們要統(tǒng)計(jì)的文件，就是告訴教官要統(tǒng)計(jì)那個(gè)營(yíng)的士兵sort是linux的排序命令，就是將士兵排序，其中 -rn表示按照身高，降序排列，因?yàn)榕判蜻€可能按照體重等排序。k 表示我們需要對(duì)那列進(jìn)行排序，因?yàn)榍懊娼y(tǒng)計(jì)的是ip,count,而我們需要按照count進(jìn)行排序，所以這里寫2head 是linux的頭部預(yù)覽命令，一個(gè)營(yíng)有很多士兵，我們直需要選出前面的幾個(gè)士兵就可以了，默認(rèn)它是選出前是個(gè)士兵，當(dāng)然我們也可以使用 head -n 5選擇前5個(gè)士兵。工作流程

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

1、通過(guò)關(guān)鍵字 BEGIN 執(zhí)行 BEGIN 塊的內(nèi)容，即 BEGIN 后花括號(hào) {} 的內(nèi)容。

2、完成 BEGIN 塊的執(zhí)行，開(kāi)始執(zhí)行body塊。

3、讀入有 \n 換行符分割的記錄。

4、將記錄按指定的域分隔符劃分域，填充域，$0 則表示所有域(即一行內(nèi)容)，$1 表示第一個(gè)域，$n 表示第 n 個(gè)域。

5、依次執(zhí)行各 BODY 塊，pattern 部分匹配該行內(nèi)容成功后，才會(huì)執(zhí)行 awk-commands 的內(nèi)容。

6、循環(huán)讀取并執(zhí)行各行直到文件結(jié)束，完成body塊執(zhí)行。

7、開(kāi)始 END 塊執(zhí)行，END 塊可以輸出最終結(jié)果。

強(qiáng)大的功能

從上面的例子我們也能看出來(lái)，awk可以向一般語(yǔ)言一樣，也有自己的數(shù)據(jù)結(jié)構(gòu)，也有自己的條件和循環(huán)判斷，而且它也可以自己定義函數(shù)，可以說(shuō)我們編程常用的功能，它都有提供。

因此，當(dāng)我們需要統(tǒng)計(jì)一些文本中的內(nèi)容的時(shí)候，我們一定不要忘記去找教官awk，它可能不是最好的教官，但是它一定值得你去選擇它。