作者：李彬，趙雪楓，金融科技工程師，架構(gòu)師社區(qū)特邀作者！

應(yīng)用服務(wù)性能調(diào)優(yōu)，是每個(gè)系統(tǒng)投產(chǎn)前都需要關(guān)注的問(wèn)題，系統(tǒng)及軟件層面的調(diào)優(yōu)方法均有大量文章介紹，但在所有招數(shù)使出后，是否就無(wú)潛可挖了？如果了解Linux內(nèi)核運(yùn)行特征，經(jīng)過(guò)簡(jiǎn)單的配置，仍存在不少可行的方案。本文將介紹的是基于Linux內(nèi)核CPU親和性參數(shù)調(diào)整，榨取最后一絲性能優(yōu)勢(shì)的方案。 

一、背景知識(shí)

CPU是常規(guī)應(yīng)用運(yùn)行計(jì)算的核心，從性能角度至少需要了解物理CPU、邏輯CPU和超線程技術(shù)實(shí)現(xiàn)。

1. 物理CPU：機(jī)器上實(shí)際安裝的CPU個(gè)數(shù)。

2. 邏輯CPU：物理CPU會(huì)有多個(gè)邏輯運(yùn)算核心，基于Intel的超線程技術(shù)（Hyper-Threading），可以在此基礎(chǔ)上形成更多核心算力。

3. 超線程技術(shù)（Hyper-Threading）：就是利用特殊的硬件指令，把一個(gè)CPU核模擬成多個(gè)邏輯CPU，形成多核多線程CPU。

綜上所述，三者的邏輯關(guān)系如下：

邏輯CPU的數(shù)量=物理CPU的數(shù)量*CPU的核數(shù)*2（如果支持并開啟了超線程的話）

二、CPU的親和性參數(shù)原理

CPU的親和性是一種調(diào)度屬性，它可以將一個(gè)進(jìn)程綁定到一個(gè)或者一組CPU上。CPU的親和性分為兩種：軟親和性和硬親和性。

1）軟CPU親和性就是進(jìn)程要在指定的CPU上盡量長(zhǎng)時(shí)間地運(yùn)行而不被遷移到其他處理器上運(yùn)行。Linux內(nèi)核的自身特性，意味著進(jìn)程通常不會(huì)在處理器之間頻繁遷移，以避免這種遷移對(duì)于計(jì)算能力的消耗，以達(dá)到最佳的平衡性。

2）Linux內(nèi)核中還包含了一種硬CPU親和性的機(jī)制，這個(gè)機(jī)制讓開發(fā)人員可以實(shí)現(xiàn)硬CPU親和性。這意味著可以顯式指定進(jìn)程在哪個(gè)（或哪些）處理器上運(yùn)行。

在Linux內(nèi)核中進(jìn)程數(shù)據(jù)結(jié)構(gòu)為task_struct，其中與親和性相關(guān)的是cpus_allowed位掩碼。這個(gè)位掩碼由n位組成，與系統(tǒng)中的n個(gè)邏輯CPU一一對(duì)應(yīng)。如果為給定的進(jìn)程設(shè)置了給定的位，那么這個(gè)進(jìn)程就可以在相關(guān)的CPU上運(yùn)行了。

以32顆邏輯CPU服務(wù)器為例：

0x00000001 處理器0號(hào)邏輯CPU可運(yùn)行

0x00000003 處理器0-1號(hào)邏輯CPU可遷移運(yùn)行

0xFFFFFFFF 處理器0-31號(hào)邏輯CPU均可遷移運(yùn)行（Linux內(nèi)核缺省狀態(tài)）

通常Linux內(nèi)核都可以很好地對(duì)進(jìn)程進(jìn)行調(diào)度，在應(yīng)該運(yùn)行的地方運(yùn)行進(jìn)程，也就是說(shuō)，在可用的處理器上運(yùn)行并獲得很好的整體性能。Linux內(nèi)核中包含了一些用來(lái)檢測(cè)CPU之間任務(wù)負(fù)載遷移的算法，可以啟用進(jìn)程遷移來(lái)降低繁忙的處理器的壓力。

三、CPU的親和性設(shè)置

Linux提供了一些方法，可以讓用戶通過(guò)修改位掩碼來(lái)指定進(jìn)程只能在某個(gè)（或者某些）CPU上運(yùn)行。一般情況下，在應(yīng)用程序中只需要使用缺省的調(diào)度器行為。然而，有時(shí)候我們可能會(huì)希望修改這些缺省行為以實(shí)現(xiàn)性能的優(yōu)化。一般來(lái)說(shuō)，我們要使用硬CPU親和性有3個(gè)原因：有大量的計(jì)算要做；應(yīng)用程序復(fù)雜；正在運(yùn)行時(shí)間敏感的、決定性的進(jìn)程。

經(jīng)過(guò)對(duì)各種方式的總結(jié)，以下通過(guò)兩個(gè)清晰的事例，對(duì)CPU親和性的配置方式進(jìn)行說(shuō)明。

1）在應(yīng)用源碼中設(shè)置CPU親和性

硬CPU親和性的設(shè)置可以通過(guò)編程來(lái)實(shí)現(xiàn)，Linux內(nèi)核提供了一些系統(tǒng)API，如：sched_set_affinity()，sched_get_affinity()，CPU_ZERO()，CPU_SET()等。一個(gè)簡(jiǎn)單設(shè)置硬CPU親和性的例子如下：

#include

#include

#include

#include

int main(void)

{

int i, nrcpus;

cpu_set_t mask;

unsigned long bitmask = 0;

CPU_ZERO(&mask); //清空一個(gè)集合

CPU_SET(0, &mask); //將給定的CPU0加入集合

CPU_SET(2, &mask);//將給定的CPU2加入集合

if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)

{

perror("sched_setaffinity");

exit(-1);

}

return 0;

}

2）通過(guò)命令方式設(shè)置CPU親和性

硬CPU親和性的設(shè)置還可以通過(guò)taskset命令來(lái)設(shè)置。taskset的命令格式是：

taskset [options] mask command [arg]…

taskset [options] –p[mask] pid

mask是CPU親和性

command是可執(zhí)行程序

arg是command的參數(shù)

pid是進(jìn)程ID

第一個(gè)命令是用來(lái)設(shè)置可執(zhí)行程序的硬CPU親和性，第二個(gè)命令是用來(lái)設(shè)置已經(jīng)運(yùn)行的進(jìn)程的硬CPU親和性。

寫在最后

最近在項(xiàng)目中，筆者碰到了系統(tǒng)CPU使用率不穩(wěn)定的情況，分析了良久，才排查到是CPU親和性相關(guān)的問(wèn)題。在壓力穩(wěn)定，運(yùn)算正常無(wú)外部瓶頸的情況下，形成一種無(wú)法解釋的CPU劇烈波動(dòng)。如下圖所示：

如果后續(xù)碰到類似的問(wèn)題，可以參考從調(diào)整CPU親和性方面考慮，按圖索驥，嘗試調(diào)整該參數(shù)，看是否有奇效。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：

長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！