LevelDB源碼分析之三:arena
一.原理
? ? ? ? arena是LevelDB內(nèi)部實(shí)現(xiàn)的內(nèi)存池。
? ? ? ? 我們知道,對(duì)于一個(gè)高性能的服務(wù)器端程序來(lái)說(shuō),內(nèi)存的使用非常重要。C++提供了new/delete來(lái)管理內(nèi)存的申請(qǐng)和釋放,但是對(duì)于小對(duì)象來(lái)說(shuō),直接使用new/delete代價(jià)比較大,要付出額外的空間和時(shí)間,性?xún)r(jià)比不高。另外,我們也要避免多次的申請(qǐng)和釋放引起的內(nèi)存碎片。一旦碎片到達(dá)一定程度,即使剩余內(nèi)存總量夠用,但由于缺乏足夠的連續(xù)空閑空間,導(dǎo)致內(nèi)存不夠用的假象。
? ? ? ? C++ STL為了避免內(nèi)存碎片,實(shí)現(xiàn)一個(gè)復(fù)雜的內(nèi)存池,LevelDB中則沒(méi)有那么復(fù)雜,只是實(shí)現(xiàn)了一個(gè)"一次性"內(nèi)存池arena。在leveldb里面,并不是所有的地方都使用了這個(gè)內(nèi)存池,主要是memtable使用,主要是用于臨時(shí)存放用戶的更新數(shù)據(jù),由于更新的數(shù)據(jù)可能很小,所以這里使用內(nèi)存池就很合適。
? ? ? ? 為了避免小對(duì)象的頻繁分配,需要減少對(duì)new的調(diào)用,最簡(jiǎn)單的做法就是申請(qǐng)大塊的內(nèi)存,多次分給客戶。LevelDB用一個(gè)vector
二.頭文件
class?Arena?{
?public:
??Arena();
??~Arena();
??//?Return?a?pointer?to?a?newly?allocated?memory?block?of?"bytes"?bytes.
??//?分配bytes大小的內(nèi)存塊,返回指向該內(nèi)存塊的指針
??char*?Allocate(size_t?bytes);
??//?Allocate?memory?with?the?normal?alignment?guarantees?provided?by?malloc
??//?基于malloc的字節(jié)對(duì)齊內(nèi)存分配
??char*?AllocateAligned(size_t?bytes);
??//?Returns?an?estimate?of?the?total?memory?usage?of?data?allocated
??//?by?the?arena?(including?space?allocated?but?not?yet?used?for?user
??//?allocations).
??//?返回整個(gè)內(nèi)存池使用內(nèi)存的總大小(不精確),這里只計(jì)算了已分配內(nèi)存塊的總大小和
??//?存儲(chǔ)各個(gè)內(nèi)存塊指針?biāo)玫目臻g。并未計(jì)算alloc_ptr_和alloc_bytes_remaining_
??//?等數(shù)據(jù)成員的大小。
??size_t?MemoryUsage()?const?{
????return?blocks_memory_?+?blocks_.capacity()?*?sizeof(char*);
??}
?private:
??char*?AllocateFallback(size_t?bytes);
??char*?AllocateNewBlock(size_t?block_bytes);
??//?Allocation?state
??//?當(dāng)前內(nèi)存塊(block)偏移量指針,也就是未使用內(nèi)存的首地址
??char*?alloc_ptr_;
??//?表示當(dāng)前內(nèi)存塊(block)中未使用的空間大小
??size_t?alloc_bytes_remaining_;
??//?Array?of?new[]?allocated?memory?blocks
??//?用來(lái)存儲(chǔ)每一次向系統(tǒng)請(qǐng)求分配的內(nèi)存塊的指針
??std::vectorblocks_;
??//?Bytes?of?memory?in?blocks?allocated?so?far
??//?迄今為止分配的內(nèi)存塊的總大小
??size_t?blocks_memory_;
??//?No?copying?allowed
??Arena(const?Arena&);
??void?operator=(const?Arena&);
};三.源文件
inline?char*?Arena::Allocate(size_t?bytes)?{
??//?The?semantics?of?what?to?return?are?a?bit?messy?if?we?allow
??//?0-byte?allocations,?so?we?disallow?them?here?(we?don't?need
??//?them?for?our?internal?use).
??//?如果允許分配0字節(jié)的內(nèi)存,那么返回值在語(yǔ)義上會(huì)比較難以理解,因此這里禁止bytes=0
??//?如果需求的內(nèi)存小于當(dāng)前內(nèi)存塊中剩余的內(nèi)存,那么直接從當(dāng)前內(nèi)存快中獲取
??assert(bytes?>?0);
??if?(bytes?<=?alloc_bytes_remaining_)?{
????char*?result?=?alloc_ptr_;
????alloc_ptr_?+=?bytes;
????alloc_bytes_remaining_?-=?bytes;
????return?result;
??}
??//?因?yàn)閍lloc_bytes_remaining_初始為0,因此第一次調(diào)用Allocate實(shí)際上直接調(diào)用的是AllocateFallback
??//?如果需求的內(nèi)存大于內(nèi)存塊中剩余的內(nèi)存,也會(huì)調(diào)用AllocateFallback
??return?AllocateFallback(bytes);
}char*?Arena::AllocateFallback(size_t?bytes)?{
??//?如果需求的內(nèi)存大于內(nèi)存塊中剩余的內(nèi)存,而且大于1K,則給這內(nèi)存單獨(dú)分配一塊bytes大小的內(nèi)存。
??//?這樣可以避免浪費(fèi)過(guò)多的空間(因?yàn)槿绻鸼ytes大于1K也從4K的內(nèi)存塊去取用,那么如果當(dāng)前內(nèi)存塊中剛好剩余
??//?1K,只能再新建一個(gè)4K的內(nèi)存塊,并且取用bytes。此時(shí)新建的內(nèi)存塊是當(dāng)前內(nèi)存塊,后續(xù)操作都是基于當(dāng)前內(nèi)
??//?存塊的,那么原內(nèi)存塊中的1K空間就浪費(fèi)了)
??if?(bytes?>?kBlockSize?/?4)?{
????//?Object?is?more?than?a?quarter?of?our?block?size.??Allocate?it?separately
????//?to?avoid?wasting?too?much?space?in?leftover?bytes.
????char*?result?=?AllocateNewBlock(bytes);
????return?result;
??}
??//?如果需求的內(nèi)存大于內(nèi)存塊中剩余的內(nèi)存,而且小于1K,則重新分配一個(gè)內(nèi)存塊,默認(rèn)大小4K,
??//?原內(nèi)存塊中剩余的內(nèi)存浪費(fèi)掉(這樣雖然也會(huì)浪費(fèi),但是浪費(fèi)的空間小于1K)。并在新內(nèi)存塊
??//?中取用bytes大小的內(nèi)存。
??//?We?waste?the?remaining?space?in?the?current?block.
??alloc_ptr_?=?AllocateNewBlock(kBlockSize);
??alloc_bytes_remaining_?=?kBlockSize;
??char*?result?=?alloc_ptr_;
??alloc_ptr_?+=?bytes;
??alloc_bytes_remaining_?-=?bytes;
??return?result;
}//?提供了字節(jié)對(duì)齊內(nèi)存分配,一般情況是4字節(jié)或8個(gè)字節(jié)對(duì)齊分配,
//?對(duì)齊內(nèi)存的好處簡(jiǎn)單的說(shuō)就是加速內(nèi)存訪問(wèn)。
//?首先獲取一個(gè)指針的大小const?int?align?=?sizeof(void*),
//?很明顯,在32位系統(tǒng)下是4?,64位系統(tǒng)下是8?,為了表述方便,我們假設(shè)是32位系統(tǒng),即align?=?4,
//?然后將我們使用的char?*?指針地址轉(zhuǎn)換為一個(gè)無(wú)符號(hào)整型(reinterpret_cast(result):
//?It?is?an?unsigned?int?that?is?guaranteed?to?be?the?same?size?as?a?pointer.),通過(guò)與操作來(lái)
//?獲取size_t?current_mod?=?reinterpret_cast(alloc_ptr_)?&?(align-1);當(dāng)前指針模4
//?的值,有了這個(gè)值以后,我們就容易知道,還差?slop?=?align?-?current_mod多個(gè)字節(jié),內(nèi)存才是對(duì)齊的,
//?所以有了result?=?alloc_ptr?+?slop。那么獲取bytes大小的內(nèi)存,實(shí)際上需要的大小為needed?=?bytes?+?slop。
char*?Arena::AllocateAligned(size_t?bytes)?{
??const?int?align?=?sizeof(void*);????//?We'll?align?to?pointer?size
??assert((align?&?(align-1))?==?0);???//?Pointer?size?should?be?a?power?of?2
??size_t?current_mod?=?reinterpret_cast(alloc_ptr_)?&?(align-1);
??size_t?slop?=?(current_mod?==?0???0?:?align?-?current_mod);
??size_t?needed?=?bytes?+?slop;
??char*?result;
??if?(needed?<=?alloc_bytes_remaining_)?{
????result?=?alloc_ptr_?+?slop;
????alloc_ptr_?+=?needed;
????alloc_bytes_remaining_?-=?needed;
??}?else?{
????//?AllocateFallback?always?returned?aligned?memory
????result?=?AllocateFallback(bytes);
??}
??assert((reinterpret_cast(result)?&?(align-1))?==?0);
??return?result;
}關(guān)于內(nèi)存對(duì)齊可參考:內(nèi)存對(duì)齊到底是怎么回事?
//?分配新的內(nèi)存塊
char*?Arena::AllocateNewBlock(size_t?block_bytes)?{
??char*?result?=?new?char[block_bytes];
??blocks_memory_?+=?block_bytes;
??blocks_.push_back(result);
??return?result;
}//?釋放整個(gè)內(nèi)存池所占內(nèi)存
Arena::~Arena()?{
??for?(size_t?i?=?0;?i?<?blocks_.size();?i++)?{
????delete[]?blocks_[i];
??}
}




