【高并發(fā)】在高并發(fā)環(huán)境下該如何構(gòu)建應(yīng)用級(jí)緩存？
來(lái)自：冰河技術(shù)
寫(xiě)在前面
隨著我們的系統(tǒng)負(fù)載越來(lái)越高，系統(tǒng)的性能就會(huì)有所下降，此時(shí)，我們可以很自然地想到使用緩存來(lái)解決數(shù)據(jù)讀寫(xiě)性能低下的問(wèn)題。但是，立志成為資深架構(gòu)師的你，是否能夠在高并發(fā)環(huán)境下合理并且高效的構(gòu)建應(yīng)用級(jí)緩存呢？
緩存命中率
緩存命中率是從緩存中讀取數(shù)據(jù)的次數(shù)與總讀取次數(shù)的比率，命中率越高越好。緩存命中率=從緩存中讀取次數(shù) / (總讀取次數(shù) (從緩存中讀取次數(shù) + 從慢速設(shè)備上讀取次數(shù)))。這是一個(gè)非常重要的監(jiān)控指標(biāo)，如果做緩存，則應(yīng)通過(guò)監(jiān)控這個(gè)指標(biāo)來(lái)看緩存是否工作良好。
緩存回收策略
1.基于空間
基于空間指緩存設(shè)置了存儲(chǔ)空間，如設(shè)置為10MB，當(dāng)達(dá)到存儲(chǔ)空間上限時(shí)，按照一定的策略移除數(shù)據(jù)。
2.基于容量
基于容量指緩存設(shè)置了最大大小，當(dāng)緩存的條目超過(guò)最大大小時(shí)，按照一定的策略移除舊數(shù)據(jù)。
3.基于時(shí)間
TTL(Time To Live):存活期，即緩存數(shù)據(jù)從創(chuàng)建開(kāi)始直到到期的一個(gè)時(shí)間段（不管在這個(gè)時(shí)間段內(nèi)有沒(méi)有被訪問(wèn)，緩存數(shù)據(jù)都將過(guò)期）。
TTI(Time To Idle)：空閑期，即緩存數(shù)據(jù)多久沒(méi)被訪問(wèn)后移除緩存的時(shí)間。
4.基于對(duì)象引用
軟引用：如果一個(gè)對(duì)象是軟引用，則當(dāng)JVM堆內(nèi)存不足時(shí)，垃圾回收器可以回收這些對(duì)象。軟引用適合用來(lái)做緩存，從而當(dāng)JVM堆內(nèi)存不足時(shí)，可以回收這些對(duì)象騰出一些空間供強(qiáng)引用對(duì)象使用，從而避免OOM。
弱引用：當(dāng)垃圾回收器回收內(nèi)存時(shí)，如果發(fā)現(xiàn)弱引用，則將它立即回收。相對(duì)于軟引用，弱引用有更短的生命周期。
注意：只有在沒(méi)有其他強(qiáng)引用對(duì)象引用弱引用/軟引用對(duì)象時(shí)，垃圾回收時(shí)才回收該引用。即如果有一個(gè)對(duì)象（不是弱引用/軟引用對(duì)象）引用了弱引用/軟引用對(duì)象，那么垃圾回收時(shí)不會(huì)回收該弱引用/軟引用對(duì)象。
5.回收算法
使用基于空間和基于容量的緩存會(huì)使用一定的策略移除舊數(shù)據(jù)，常見(jiàn)的如下。
FIFO(First In First Out)：先進(jìn)先出算法，即先放入緩存的先被移除。
LRU(Least Recently Used)：最近最少使用算法，時(shí)間時(shí)間距離現(xiàn)在最久的那個(gè)被移除。
LFU(Least Frequently Used)：最不常用算法，一定時(shí)間段內(nèi)使用次數(shù)（頻率）最少的那個(gè)被移除。
實(shí)際應(yīng)用中基于LRU的緩存居多。
緩存類型
堆內(nèi)存： 使用Java堆內(nèi)存來(lái)存儲(chǔ)對(duì)象。使用堆緩存的好處是沒(méi)有序列化/反序列化，是最快的緩存。缺點(diǎn)也很明顯，當(dāng)緩存的數(shù)據(jù)量很大時(shí)，GC（垃圾回收）暫停時(shí)間會(huì)變長(zhǎng)，存儲(chǔ)容量受限于堆空間大小。一般通過(guò)軟引用/弱引用來(lái)存儲(chǔ)緩存對(duì)象。即當(dāng)堆內(nèi)存不足時(shí)，可以強(qiáng)制回收這部分內(nèi)存釋放堆內(nèi)存空間。一般使用堆緩存存儲(chǔ)較熱的數(shù)據(jù)。可以使用Guava Cache、Ehcache 3.x、 MapDB實(shí)現(xiàn)。
堆外內(nèi)存： 即緩存數(shù)據(jù)存儲(chǔ)在堆外內(nèi)存，可以減少GC暫停時(shí)間（堆對(duì)象轉(zhuǎn)移到堆外，GC掃描和移動(dòng)的對(duì)象變少了），可以支持更多的緩存空間（只受機(jī)器內(nèi)存大小限制，不受堆空間的影響）。但是，讀取數(shù)據(jù)時(shí)需要序列化/反序列化。因此，會(huì)比堆緩存慢很多?？梢允褂肊hcache 3.x、 MapDB實(shí)現(xiàn)。
磁盤(pán)緩存： 即緩存數(shù)據(jù)存儲(chǔ)在磁盤(pán)上，在JVM重啟時(shí)數(shù)據(jù)還存在，而堆/堆外緩存數(shù)據(jù)會(huì)丟失，需要重新加載?？梢允褂肊hcache 3.x、MapDB實(shí)現(xiàn)。
分布式緩存： 分布式緩存可以使用ehcache-clustered(配合Terracotta server)實(shí)現(xiàn)Java進(jìn)程間分布式緩存。也可以使用Memcached、Redis實(shí)現(xiàn)。
緩存模式
單機(jī)模式： 存儲(chǔ)最熱的數(shù)據(jù)到堆緩存，相對(duì)熱的數(shù)據(jù)到堆外緩存，不熱的數(shù)據(jù)到磁盤(pán)緩存。
集群模式： 存儲(chǔ)最熱的數(shù)據(jù)到堆緩存，相對(duì)熱的數(shù)據(jù)到對(duì)外緩存，全量數(shù)據(jù)到分布式緩存。
寫(xiě)在最后
最后，附上并發(fā)編程需要掌握的核心技能知識(shí)圖，祝大家在學(xué)習(xí)并發(fā)編程時(shí)，少走彎路。
特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝
免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！
下載文檔
