ITOps專業(yè)人員在不斷發(fā)展的、充滿挑戰(zhàn)的環(huán)境中運作。他們面臨著一個復(fù)雜的大數(shù)據(jù)環(huán)境，通常在數(shù)千個節(jié)點上運行數(shù)以萬計的應(yīng)用程序。這種狀況意味著用戶經(jīng)常會遇到大量不必要的云浪費。相反，這也意味著提高大數(shù)據(jù)性能和/或削減支出的機會很多。

最近，在Pepperdata，進行了一項數(shù)據(jù)調(diào)查，以揭示云浪費和優(yōu)化潛力的規(guī)模。在實施解決方案之前，研究了各種客戶群。這些集群在運行450萬個應(yīng)用程序的5000個節(jié)點上占了400 PB的數(shù)據(jù)。調(diào)查最終得出了一份全面的大數(shù)據(jù)性能報告，該報告結(jié)合了最新的云計算統(tǒng)計數(shù)據(jù)和大數(shù)據(jù)趨勢。

越來越多的云浪費

Statista報告稱：“到2020年，公共云服務(wù)市場規(guī)模預(yù)計將達到2664億美元左右，到2022年，市場收入預(yù)計將超過3500億美元?！?/p>

這種增長是有代價的。復(fù)雜的大數(shù)據(jù)應(yīng)用程序遷移到云中的次數(shù)越多，資源錯配的可能性就越大。僅在2019年，云浪費造成的損失就達140億美元左右。因此，正如Gartner所說， “到2024年，幾乎所有遷移到公共云基礎(chǔ)架構(gòu)即服務(wù)（IaaS）的舊應(yīng)用程序都將需要進行優(yōu)化，以變得更具成本效益。”

在大數(shù)據(jù)集群中，典型的一周內(nèi)沒有優(yōu)化，最大內(nèi)存利用率的中位數(shù)比率僅為42.3％。這意味著存在大量未充分利用或浪費群集資源的群集。

在實施云優(yōu)化之前，40個大型集群的平均浪費為60 +％。通常，只有5-10％的工作經(jīng)歷了嚴(yán)重的浪費，這使得優(yōu)化成為一大難題。

優(yōu)化的潛力

浪費大量的資源可以進行優(yōu)化。正如Google所發(fā)現(xiàn)的那樣，即使是不費吹灰之力的云優(yōu)化也可以在兩周內(nèi)為企業(yè)的每項服務(wù)節(jié)省多達10％的費用。同時，運行六周或更長時間的完全優(yōu)化的云服務(wù)可以為公司節(jié)省超過20％的費用。

但是，優(yōu)化可能是一個挑戰(zhàn)。每個應(yīng)用程序的資源要求都在不斷變化。為了充分發(fā)揮優(yōu)化潛力，大數(shù)據(jù)解決方案需要從所有應(yīng)用程序和關(guān)聯(lián)的基礎(chǔ)架構(gòu)中收集信息，分析數(shù)據(jù)并動態(tài)滿足資源需求的變化。

這只能借助機器學(xué)習(xí)（ML）來完成。

在ML驅(qū)動的云優(yōu)化的幫助下，我們的研究團隊針對大數(shù)據(jù)工作負載解鎖了一系列優(yōu)化：

· 四分之三的客戶群提高了吞吐量，并立即贏得了他們52％的工作時間。

· 25％的用戶每年至少可以節(jié)省40萬美元，而最成功的用戶每年可以節(jié)省790萬美元。

正確的大數(shù)據(jù)優(yōu)化解決方案

隨著云遷移的繼續(xù)，企業(yè)必須牢記，成本只有在未適當(dāng)優(yōu)化的情況下才會增加。業(yè)務(wù)必須努力采用機器學(xué)習(xí)驅(qū)動的解決方案，該解決方案可以快速查明哪些集群浪費了空間或資源，同時動態(tài)地解決了不斷變化的資源需求。

為他們提供這種水平的可觀察性和自動調(diào)整的解決方案是唯一可以最大化應(yīng)用程序性能并從長期來看可以節(jié)省數(shù)百萬美元的軟件。