ITOps專業(yè)人員在不斷發(fā)展的、充滿挑戰(zhàn)的環(huán)境中運作。他們面臨著一個復雜的大數據環(huán)境，通常在數千個節(jié)點上運行數以萬計的應用程序。這種狀況意味著用戶經常會遇到大量不必要的云浪費。相反，這也意味著提高大數據性能和/或削減支出的機會很多。

最近，在Pepperdata，進行了一項數據調查，以揭示云浪費和優(yōu)化潛力的規(guī)模。在實施解決方案之前，研究了各種客戶群。這些集群在運行450萬個應用程序的5000個節(jié)點上占了400 PB的數據。調查最終得出了一份全面的大數據性能報告，該報告結合了最新的云計算統(tǒng)計數據和大數據趨勢。

越來越多的云浪費

Statista報告稱：“到2020年，公共云服務市場規(guī)模預計將達到2664億美元左右，到2022年，市場收入預計將超過3500億美元?！?/p>

這種增長是有代價的。復雜的大數據應用程序遷移到云中的次數越多，資源錯配的可能性就越大。僅在2019年，云浪費造成的損失就達140億美元左右。因此，正如Gartner所說， “到2024年，幾乎所有遷移到公共云基礎架構即服務（IaaS）的舊應用程序都將需要進行優(yōu)化，以變得更具成本效益?！?/p>

在大數據集群中，典型的一周內沒有優(yōu)化，最大內存利用率的中位數比率僅為42.3％。這意味著存在大量未充分利用或浪費群集資源的群集。

在實施云優(yōu)化之前，40個大型集群的平均浪費為60 +％。通常，只有5-10％的工作經歷了嚴重的浪費，這使得優(yōu)化成為一大難題。

優(yōu)化的潛力

浪費大量的資源可以進行優(yōu)化。正如Google所發(fā)現(xiàn)的那樣，即使是不費吹灰之力的云優(yōu)化也可以在兩周內為企業(yè)的每項服務節(jié)省多達10％的費用。同時，運行六周或更長時間的完全優(yōu)化的云服務可以為公司節(jié)省超過20％的費用。

但是，優(yōu)化可能是一個挑戰(zhàn)。每個應用程序的資源要求都在不斷變化。為了充分發(fā)揮優(yōu)化潛力，大數據解決方案需要從所有應用程序和關聯(lián)的基礎架構中收集信息，分析數據并動態(tài)滿足資源需求的變化。

這只能借助機器學習（ML）來完成。

在ML驅動的云優(yōu)化的幫助下，我們的研究團隊針對大數據工作負載解鎖了一系列優(yōu)化：

· 四分之三的客戶群提高了吞吐量，并立即贏得了他們52％的工作時間。

· 25％的用戶每年至少可以節(jié)省40萬美元，而最成功的用戶每年可以節(jié)省790萬美元。

正確的大數據優(yōu)化解決方案

隨著云遷移的繼續(xù)，企業(yè)必須牢記，成本只有在未適當優(yōu)化的情況下才會增加。業(yè)務必須努力采用機器學習驅動的解決方案，該解決方案可以快速查明哪些集群浪費了空間或資源，同時動態(tài)地解決了不斷變化的資源需求。

為他們提供這種水平的可觀察性和自動調整的解決方案是唯一可以最大化應用程序性能并從長期來看可以節(jié)省數百萬美元的軟件。