CPU?Burst有副作用嗎？讓數(shù)學(xué)來回答！|?龍蜥技術(shù)
[導(dǎo)讀]編者按：CPUBurst特性已合入Linux5.14，AnolisOS8.2、AlibabaCloudLinux2、AlibabaCloudLinux3也都支持CPUBurst特性。在系列文章的上篇中，我們討論了讓人討厭的CPU限流，它會影響運行在容器中的應(yīng)用的一些關(guān)鍵指標(biāo)。為了...
編者按：CPU Burst 特性已合入 Linux 5.14，Anolis OS 8.2、Alibaba Cloud Linux2、Alibaba Cloud Linux3也都支持CPU Burst特性。在系列文章的上篇中，我們討論了讓人討厭的 CPU 限流，它會影響運行在容器中的應(yīng)用的一些關(guān)鍵指標(biāo)。為了避免限流的出現(xiàn)，有時我們不得不犧牲容器部署密度，從而導(dǎo)致資源浪費的產(chǎn)生。在解決方案部分，我們也介紹了新的CPU Burst 技術(shù)，通過這一技術(shù)，我們既能保證容器運行服務(wù)質(zhì)量，又不降低容器部署密度。聽起來有點像個銀彈啊？那么，使用CPU Burst的副作用是什么？是否有不適用的場景呢？為了回答這個問題，本文將介紹CPU Burst打破的調(diào)度保證，以及CPU Burst影響評估。盡管這些CPU突發(fā)的使用造成的CPU使用差異在CPU利用率上很多時候不明顯，但是我們?nèi)匀魂P(guān)心這種改變的影響。當(dāng)然，結(jié)論是明確的：CPU Burst的負(fù)面影響完全可以忽略。僅在CPU利用率高達70%的環(huán)境里CPU Burst開始影響關(guān)鍵指標(biāo)，而我相信大家日常生產(chǎn)環(huán)境的CPU利用率都遠(yuǎn)遠(yuǎn)低于這個水平。
結(jié)果跟直覺是吻合的。一方面，CPU需求（CPU利用率）越高，CPU突發(fā)越容易打破穩(wěn)定性約束，造成任務(wù)WCET期望變長。另一方面，CPU需求獨立分布的cgroup數(shù)目越多，它們同時產(chǎn)生CPU突發(fā)需求的可能性越低，調(diào)度器穩(wěn)定性約束越容易保持，WCET的期望越接近1個period。
龍蜥社區(qū)是由企事業(yè)單位、高等院校、科研單位、非營利性組織、個人等按照自愿、平等、開源、協(xié)作的基礎(chǔ)上組成的非盈利性開源社區(qū)。龍蜥社區(qū)成立于2020年9月，旨在構(gòu)建一個開源、中立、開放的Linux上游發(fā)行版社區(qū)及創(chuàng)新平臺。短期目標(biāo)是開發(fā)Anolis OS作為CentOS替代版，重新構(gòu)建一個兼容國際Linux主流廠商發(fā)行版。中長期目標(biāo)是探索打造一個面向未來的操作系統(tǒng)，建立統(tǒng)一的開源操作系統(tǒng)生態(tài)，孵化創(chuàng)新開源項目，繁榮開源生態(tài)。龍蜥OS 8.4已發(fā)布，支持x86_64和ARM64架構(gòu)，完善適配Intel、飛騰、海光、兆芯、鯤鵬芯片。歡迎下載：https：//openanolis.cn/download加入我們，一起打造面向未來的開源操作系統(tǒng)！Https：//openanolis.cn往期精彩回顧1.龍蜥社區(qū)成立DDE SIG，發(fā)布當(dāng)前移植進展
2.跟蹤診斷技術(shù)SIG 7月運營月報：系統(tǒng)排查工具 ssar 即將開源 | 龍蜥SIG3.硬核啟動！第16屆「中國 Linux 內(nèi)核開發(fā)者大會」征稿開始4.絲般順滑！全新垃圾回收器 ZGC 初體驗 | 龍蜥技術(shù)5.Java語言與虛擬機SIG7月份運營月報：Dragonwell開發(fā)動態(tài) | 龍蜥SIG6.龍蜥社區(qū)8月運營委員會順利召開7.大連紅旗加入龍蜥社區(qū) 共建 RISC-V 開源生態(tài)8.干掉討厭的 CPU 限流，讓容器跑得更快 | 龍蜥技術(shù)9.移動云正式發(fā)布基于龍蜥 Anolis OS 的 BC-Linux V8.2 通用版操作系統(tǒng)10.商密軟件棧SIG 7月份運營月報｜龍蜥SIG
CPU Bandwidth Controller的保證
使用CPU Bandwidth Controller可以避免某些進程消耗過多CPU時間，并確保所有需要CPU的進程都拿到足夠的CPU時間。之所以有這樣好的穩(wěn)定性保證，是因為當(dāng)Bandwidth Controller設(shè)置滿足時，有如下的調(diào)度穩(wěn)定性約束：其中是第i個cgroup的quota，是一個period內(nèi)該cgroup的CPU需求。Bandwidth Controller對每個周期分別做CPU時間統(tǒng)計，調(diào)度穩(wěn)定性約束保證在一個period內(nèi)提交的全部任務(wù)都能在該周期內(nèi)處理完；對每個CPU cgroup而言，這意味著任何時候提交的任務(wù)都能在一個period內(nèi)執(zhí)行完，即任務(wù)實時性約束：不管任務(wù)優(yōu)先級如何，最壞情況下任務(wù)執(zhí)行時間（WCET, Worst-Case Execution Time）不超過一個period。假如持續(xù)出現(xiàn)調(diào)度器穩(wěn)定性被打破，在每個period都有任務(wù)積攢下來，新提交的作業(yè)執(zhí)行時間不斷增加。使用CPU Burst的影響
出于改善服務(wù)質(zhì)量的需要，我們使用CPU Burst允許突發(fā)的CPU使用之后，對調(diào)度器的穩(wěn)定性產(chǎn)生什么影響？答案是當(dāng)多個cgroup同時突發(fā)使用CPU，調(diào)度器穩(wěn)定性約束和任務(wù)實時性保證有可能被打破。這時候兩個約束得到保證的概率是關(guān)鍵，如果兩個約束得到保證的概率很高，對大多數(shù)周期來任務(wù)實時性都得到保證，可以放心大膽使用CPU Burst；如果任務(wù)實時性得到保證的概率很低，這時候要改善服務(wù)質(zhì)量不能直接使用CPU Burst，應(yīng)該先降低部署密度提高CPU資源配置。于是下一個關(guān)心的問題是，怎么計算特定場景下兩個約束被打破的概率。評估影響大小
定量計算可以定義成經(jīng)典的排隊論問題，并且用蒙特卡洛模擬方法求解。定量計算的結(jié)果表明，判斷當(dāng)前場景是否可以使用CPU Burst的主要影響因素是平均CPU利用率和cgroup數(shù)目。CPU利用率越低，或者cgroup數(shù)目越多，兩個約束越不容易被打破可以放心使用CPU Burst。反之如果CPU利用率很高或者cgroup數(shù)目較少，要消除CPU限流對進程執(zhí)行的影響，應(yīng)該降低部署提高配置再使用CPU Burst。問題定義是：一共有m個cgroup，每個cgroup的quota限制為1/m，每個cgroup在每個周期產(chǎn)生的計算需求（CPU利用率）服從某個具體分布，這些分布是相互獨立的。假設(shè)任務(wù)在每個周期的開始到達，如果該周期內(nèi)的CPU需求超過100%，當(dāng)前周期任務(wù)WCET超過1個period，超過的部分累積下來和下個周期新產(chǎn)生的CPU需求一起在下個需求處理。輸入是cgroup的數(shù)目m和每個CPU需求滿足的具體分布，輸出是每個周期結(jié)束WCET > period的概率和WCET期望。使用蒙特卡洛模擬求解過程省略，詳細(xì)請關(guān)注后續(xù)系列文章。以輸入的CPU需求為帕累托分布、m=10/20/30的結(jié)果為例進行說明。選擇帕累托分布進行說明的原因是它產(chǎn)生比較多的長尾CPU突發(fā)使用，容易產(chǎn)生較大影響。表格中數(shù)據(jù)項的格式為，其中越接近1越好，概率越低越好。| u_avg | m=10 | m=20 | m=30 |
10% | 1.0000/0.00% | 1.0000/0.00% | 1.0000/0.00% |
30% | 1.0000/0.00% | 1.0000/0.00% | 1.0000/0.00% |
50% | 1.0003/0.03% | 1.0000/0.00% | 1.0000/0.00% |
70% | 1.0077/0.66% | 1.0013/0.12% | 1.0004/0.04% |
90% | 1.4061/19.35% | 1.1626/10.61% | 1.0867/6.52% |
后續(xù)
看完本文相信您對CPU Burst的影響已經(jīng)有了定性了解。如果希望對評估方法有更多了解，請期待系列文章的下篇。關(guān)于作者常懷鑫（一齋），阿里云內(nèi)核組工程師，擅長CPU調(diào)度領(lǐng)域。丁天琛(鷹羽)，2021年加入阿里云內(nèi)核組，目前在調(diào)度領(lǐng)域等方面學(xué)習(xí)研究——完——加入龍蜥社群加入微信群：添加社區(qū)助理-龍蜥社區(qū)小龍（微信：openanolis_assis），備注【龍蜥】拉你入群；加入釘釘群：掃描下方釘釘群二維碼。歡迎開發(fā)者/用戶加入龍蜥OpenAnolis社區(qū)交流，共同推進龍蜥社區(qū)的發(fā)展，一起打造一個活躍的、健康的開源操作系統(tǒng)生態(tài)！龍蜥社區(qū)釘釘交流群龍蜥社區(qū)-小龍關(guān)于龍蜥社區(qū)龍蜥社區(qū)是由企事業(yè)單位、高等院校、科研單位、非營利性組織、個人等按照自愿、平等、開源、協(xié)作的基礎(chǔ)上組成的非盈利性開源社區(qū)。龍蜥社區(qū)成立于2020年9月，旨在構(gòu)建一個開源、中立、開放的Linux上游發(fā)行版社區(qū)及創(chuàng)新平臺。短期目標(biāo)是開發(fā)Anolis OS作為CentOS替代版，重新構(gòu)建一個兼容國際Linux主流廠商發(fā)行版。中長期目標(biāo)是探索打造一個面向未來的操作系統(tǒng)，建立統(tǒng)一的開源操作系統(tǒng)生態(tài)，孵化創(chuàng)新開源項目，繁榮開源生態(tài)。龍蜥OS 8.4已發(fā)布，支持x86_64和ARM64架構(gòu)，完善適配Intel、飛騰、海光、兆芯、鯤鵬芯片。歡迎下載：https：//openanolis.cn/download加入我們，一起打造面向未來的開源操作系統(tǒng)！Https：//openanolis.cn往期精彩回顧1.龍蜥社區(qū)成立DDE SIG，發(fā)布當(dāng)前移植進展
2.跟蹤診斷技術(shù)SIG 7月運營月報：系統(tǒng)排查工具 ssar 即將開源 | 龍蜥SIG3.硬核啟動！第16屆「中國 Linux 內(nèi)核開發(fā)者大會」征稿開始4.絲般順滑！全新垃圾回收器 ZGC 初體驗 | 龍蜥技術(shù)5.Java語言與虛擬機SIG7月份運營月報：Dragonwell開發(fā)動態(tài) | 龍蜥SIG6.龍蜥社區(qū)8月運營委員會順利召開7.大連紅旗加入龍蜥社區(qū) 共建 RISC-V 開源生態(tài)8.干掉討厭的 CPU 限流，讓容器跑得更快 | 龍蜥技術(shù)9.移動云正式發(fā)布基于龍蜥 Anolis OS 的 BC-Linux V8.2 通用版操作系統(tǒng)10.商密軟件棧SIG 7月份運營月報｜龍蜥SIG
下載文檔
