來自：后端技術學堂

操作系統(tǒng)「進程」是學計算機都要接觸的基本概念，拋開那些純理論的操作系統(tǒng)底層實現(xiàn)，在Linux下做軟件開發(fā)這么多年，每次程序運行出現(xiàn)問題，都要一步一步分析進程各種狀態(tài)，去排查問題出在哪里，這次lemon帶你在Linux環(huán)境下實操，一步步探究揭開「Linux進程」的那些秘密。

何為進程

首先我們說下「程序」的概念，程序是一些保存在磁盤上的指令的有序集合，是靜態(tài)的。進程是程序執(zhí)行的過程，包括了動態(tài)創(chuàng)建、調(diào)度和消亡的整個過程，它是程序資源管理的最小單位。

線程是操作操作系統(tǒng)能夠進行運算調(diào)度的最小單位。大部分情況下，它被包含在進程之中，是進程中的實際運作單位，一個進程內(nèi)可以包含多個線程，是資源調(diào)度的最小單位。[引用維基百科]

探究進程第一步，你在嗎？還好嗎？

ps

report a snapshot of the current processes. 列出當前系統(tǒng)進程的快照。

找到進程PID ( Process IDentity )，pid唯一標識一個進程。用ps這個命令，這個命令大家應該都知道吧，對于小白用戶，首先他不是Photoshop。

給大家簡單介紹一下，一般用法是ps -ef列出系統(tǒng)內(nèi)經(jīng)常信息，通常都會帶管道grep出自己感興趣的進程，像這樣ps -ef|grep intresting第一列PID代表進程號，PPID（parent process ID）代表父進程號。

探究進程第二步，讓我看看你都交了哪些朋友（系統(tǒng)調(diào)用 & 信號）

strace

trace system calls and signals   跟蹤進程內(nèi)部的系統(tǒng)調(diào)用和信號

什么是「系統(tǒng)調(diào)用」？系統(tǒng)調(diào)用（system call），指運行在「用戶態(tài)」的程序向操作系統(tǒng)「內(nèi)核態(tài)」請求需要更高權限運行的服務，系統(tǒng)調(diào)用提供用戶程序與操作系統(tǒng)之間的接口。

strace后面跟著啟動一個進程，可以跟蹤啟動后進程的系統(tǒng)調(diào)用和信號，這個命令可以看到進程執(zhí)行時候都調(diào)用了哪些系統(tǒng)調(diào)用，通過指定不同的選項可以輸出系統(tǒng)調(diào)用發(fā)生的時間，精度可以精確到微秒，甚至還可以統(tǒng)計分析系統(tǒng)「調(diào)用的耗時」，這在排查進程假死問題的時候很有用，能幫你發(fā)現(xiàn)進程卡在哪個系統(tǒng)調(diào)用上。已經(jīng)在運行的進程也可以指定-p參數(shù)加pid像gdb attach那樣附著上去跟蹤。

探究進程第三步，讓我看看你帶的小弟們（線程）。

pstack

print a stack trace of a running process 打印出運行中程序的堆棧信息。

執(zhí)行命令pstack pid 你能看到當前線程運行中的堆棧信息，其中的pid可用之前的ps命令獲得，pstack可以看到進程內(nèi)啟動的線程號，每個進程內(nèi)線程的「堆?！箖?nèi)容也能看到。

看到上面打印出的LWP了嗎，這里是個知識點， LPW是指Light-weight process 輕量級線程。引申知識：

1. Linux中沒有真正的線程
2. Linux中沒有的線程 Thread是由進程來模擬實現(xiàn)的所以稱作：輕量級進程
3. 進程是「資源管理」的最小單元，線程是「資源調(diào)度」的最小單元（這里不考慮協(xié)程）

探究進程第四步，讓小弟們（線程）出來排個隊吧。

pstree

display a tree of processes pstree按樹形結構打印運行中進程結構信息

可以直觀的查看進程和它啟動的線程的關系，并能顯示進程標識。

探究進程第五步，是死（進程崩潰）是活（進程運行中）我都要知道你的秘密（堆棧幀 & 上下文）。

gdb

gdb是GNU開發(fā)的gcc套件中Linux下程序調(diào)試工具，你可以查看程序的堆棧、設置斷點、打印程序運行時信息，甚至還能調(diào)試多線程程序，功能十分強大。

在這里把gdb當成一個命令來講有點大材小用，要詳細說gdb的話，完全可以撐起一篇文章的篇幅，這里長話短說，有機會再開一篇文章詳細介紹下它。

使用

要用gdb調(diào)試C/C++程序首先編譯的時候要加-g選項，g++ -g test.cpp -o test這樣生成的程序就可以用gdb來調(diào)試啦。

1. 可以直接用gdb啟動程序調(diào)試，命令： gdb prog
2. 用gdb附著到一個已經(jīng)啟動的進程上調(diào)試也可以。命令： gdb prog pid
3. 程序崩潰之后參數(shù)corefile也可以用gdb調(diào)試，看看程序死掉之前留了什么遺言（堆棧信息）給你。命令： gdb prog corefile，這里有一點需要注意，有些Linux系統(tǒng)默認程序崩潰不生成 corefile，這時你需要 ulimit -c unlimited這樣就能生成 corefile了。

探究進程第六步，關于你的所有，我都想知道。

更近一步

通過/proc/pid文件了解進程的運行時信息和統(tǒng)計信息。/proc系統(tǒng)是一個偽文件系統(tǒng)，它只存在內(nèi)存當中，而不占用外存空間，以文件系統(tǒng)的方式為內(nèi)核與進程提供通信的接口。進入系統(tǒng)/proc目錄：

/proc目錄下有很多以數(shù)字命名的目錄，每個數(shù)字代表進程號PID它們是進程目錄。系統(tǒng)中當前運行的每一個進程在/proc下都對應一個以進程號為目錄名的目錄/proc/pid，它們是讀取進程信息的接口，我們可以進到這個文件里面，了解進程的運行時信息和統(tǒng)計信息。

高頻使用

/proc/pid目錄下的有一些重要文件，挑幾個使用頻率高的講一講。/proc/pid/environ 包含了進程的可用環(huán)境變量的列表 。程序出問題了如果不確定環(huán)境變量是否設置生效，可以cat這個文件出來查看確認一下。

/proc/pid/fd/ 這個目錄包含了進程打開的每一個文件的鏈接。從這里可以查看進程打開的文件描述符信息，包括標準輸入、輸出、錯誤流，進程打開的socket連接文件描述符也能看到，lsof命令也有類似的作用。

/proc/pid/stat包含了進程的所有狀態(tài)信息，進程號、父進程號、 線程組號、 該任務在用戶態(tài)運行的時間 、 該任務在用內(nèi)核態(tài)運行的時間、 虛擬地址空間的代碼段、 阻塞信號的位圖等等信息應有盡有。

其他統(tǒng)計

/proc/pid/cmdline 該文件保存了進程的完整命令行
/proc/pid/cwd一個符號連接, 指向進程當前的工作目錄
/proc/pid/exe包含了正在進程中運行的程序鏈接
/proc/pid/mem包含了進程在內(nèi)存中的內(nèi)容
/proc/pid/statm包含了進程的內(nèi)存使用信息

總結一下

好了，一頓操作下來，你對進程和它背后的秘密你已經(jīng)非常了解了，下次我們的好朋友「進程」如果遇到了什么問題（崩潰coredump、假死、阻塞、系統(tǒng)調(diào)用超時、文件描述符異常），你應該知道如何幫它處理了吧！我們來總結一下：

• ps查看進程id，看看進程還在不在以及進程狀態(tài)
• 如果在的話 strace、 psstack看下進程當前信息，是不是卡死在哪個位置，對比各幀最后調(diào)用信息找到異常點
• 如果進程不再了，如果有 corefile文件，直接上 gdb查看 corefile信息
• 其他疑難雜癥懷疑進程狀態(tài)信息的時候，看看 /proc/pid下面的進程狀態(tài)信息，可能會給你啟發(fā)。
• 最后，如果以上都不行，閉目祈禱吧！
  
  

• 

寫在最后

今天的分享希望對你有幫助，祝大家寫的服務永不宕機，從不coredump，讓上面教你的操作吃灰去吧。

最后，感謝各位的閱讀。文章的目的是分享對知識的理解，技術類文章我都會反復求證以求最大程度保證準確性，若文中出現(xiàn)明顯紕漏也歡迎指出，我們一起在探討中學習。

reference

https://man.linuxde.net/gdb

https://blog.csdn.net/dan15188387481/article/details/49450491

https://blog.csdn.net/m0_37925202/article/details/78759408

https://blog.csdn.net/enweitech/article/details/53391567