• 數(shù)據(jù)處理階段直接將用戶維表、商品維表、商家維表以行存模式存儲(chǔ)到Hologres中，以此替代Hbase存儲(chǔ)。Flink中的作業(yè)可以直接讀取Hologres的維表，與行為日志進(jìn)行關(guān)聯(lián)。

• 在數(shù)據(jù)查詢和服務(wù)階段，我們將Flink處理輸出的實(shí)時(shí)明細(xì)數(shù)據(jù)統(tǒng)一存儲(chǔ)至Hologres，由Hologres提供高并發(fā)的數(shù)據(jù)實(shí)時(shí)寫入和實(shí)時(shí)查詢。

04

基于Hologres的最佳實(shí)踐

實(shí)時(shí)數(shù)倉(cāng)2.0版本因?yàn)镠ologres的接入，既精簡(jiǎn)了架構(gòu)，節(jié)約了資源，也真正實(shí)現(xiàn)了流批一體。這個(gè)架構(gòu)也一直使用至今，下面是Hologres基于此架構(gòu)在搜索推薦具體多個(gè)業(yè)務(wù)場(chǎng)景中的最佳實(shí)踐。

1. 行存最佳實(shí)踐

Hologres支持行存和列存兩種存儲(chǔ)模式，行存對(duì)于key-value查詢場(chǎng)景比較友好，適合基于primary key的點(diǎn)查和 scan，可以將行存模式的表看作是一張類似于Hbase的表，用不同的表存儲(chǔ)不同實(shí)體的維度信息。在Flink實(shí)時(shí)作業(yè)中可以高效地從Hologres行存表中讀取維表數(shù)據(jù)，與實(shí)時(shí)流中的實(shí)體進(jìn)行關(guān)聯(lián)。

2. 列存最佳實(shí)踐

Hologres中默認(rèn)表的存儲(chǔ)模式是列存，列存對(duì)于OLAP場(chǎng)景較為友好，適合各種復(fù)雜查詢。

基于Hologres的列存模式，我們搭建了搜索、推薦業(yè)務(wù)的實(shí)時(shí)數(shù)據(jù)查詢看板，在實(shí)時(shí)看板上可以支持?jǐn)?shù)十個(gè)不同維度的實(shí)時(shí)篩選過濾。 在最高峰值每秒寫入條數(shù)（RPS）超過500萬的同時(shí)仍然可以秒級(jí)查詢多個(gè)維度篩選下的聚合指標(biāo)結(jié)果。

同時(shí)Hologres表支持設(shè)置表數(shù)據(jù)TTL的屬性，一般我們將一張實(shí)時(shí)表的生命周期設(shè)置為48小時(shí)，超過48小時(shí)的數(shù)據(jù)會(huì)被自動(dòng)刪除，在實(shí)時(shí)看板中支持用戶對(duì)最近兩天內(nèi)的實(shí)時(shí)數(shù)據(jù)進(jìn)行查詢，避免了不必要的資源浪費(fèi)。

3. 流批一體最佳實(shí)踐

Hologres不僅支持基于實(shí)時(shí)明細(xì)的數(shù)據(jù)的即席分析查詢，也支持直接加速查詢MaxCompute離線表，因此我們利用這一特性，實(shí)現(xiàn)流批一體的查詢（實(shí)時(shí)離線聯(lián)邦分析）。

在天貓大促活動(dòng)中，我們利用Hologres的聯(lián)邦分析能力搭建了核心商家的目標(biāo)完成率、去年同期對(duì)比看板，為運(yùn)營(yíng)算法決策提供了有效的數(shù)據(jù)支撐。

其中目標(biāo)完成率看板開發(fā)借助實(shí)時(shí)離線聯(lián)邦分析變得更為簡(jiǎn)單，即通過Hologres實(shí)時(shí)查詢大促當(dāng)天的指標(biāo)，并用實(shí)時(shí)表的當(dāng)天指標(biāo)除以離線表中設(shè)定的目標(biāo)指標(biāo)，從而讓運(yùn)營(yíng)能夠看到實(shí)時(shí)更新的核心商家當(dāng)天目標(biāo)的完成情況。

去年同期對(duì)比實(shí)時(shí)看板的計(jì)算邏輯也是類似的，可以在SQL中將實(shí)時(shí)表與去年的離線表JOIN后進(jìn)行關(guān)鍵指標(biāo)的同比計(jì)算。

所有的計(jì)算都可以在Hologres中完成，通過SQL表達(dá)計(jì)算邏輯即可，無需額外的數(shù)據(jù)開發(fā)工作，一份數(shù)據(jù)一套代碼，降低開發(fā)運(yùn)維難度，真正實(shí)現(xiàn)流批一體。

4. 高并發(fā)實(shí)時(shí)Update

在一些場(chǎng)景下，我們不僅需要向OLAP引擎實(shí)時(shí)增量寫入數(shù)據(jù)，還需要對(duì)寫入的數(shù)據(jù)進(jìn)行更新操作（update）。

例如，在訂單成交歸因時(shí)，F(xiàn)link實(shí)時(shí)作業(yè)會(huì)將訂單提交數(shù)據(jù)流與進(jìn)度點(diǎn)擊數(shù)據(jù)流進(jìn)行雙流JOIN，并且在還需要取訂單提交前的最后一次點(diǎn)擊事件進(jìn)行關(guān)聯(lián)。當(dāng)有多條點(diǎn)擊事件先后到達(dá)時(shí)，我們就需要更新訂單歸因明細(xì)數(shù)據(jù)，此時(shí)需要利用Hologres的update支持，通過數(shù)據(jù)的主鍵更新原有數(shù)據(jù)，保證成交歸因的數(shù)據(jù)準(zhǔn)確性。在實(shí)踐中Hologres的update寫入峰值能達(dá)50W，滿足業(yè)務(wù)高并發(fā)實(shí)時(shí)更新需求。

05

未來展望

我們希望未來基于Hologres引擎持續(xù)改進(jìn)現(xiàn)有的實(shí)時(shí)數(shù)倉(cāng)，主要的方向主要有：

1. 實(shí)時(shí)表JOIN

Hologres現(xiàn)階段支持百億級(jí)表與億級(jí)表之間的JOIN，秒級(jí)查詢響應(yīng)?；谶@個(gè)特性，期望將原本需要在數(shù)據(jù)處理階段由Flink實(shí)時(shí)作業(yè)完成的維表關(guān)聯(lián)工作，可以改為在查詢Hologres階段實(shí)時(shí)JOIN計(jì)算。例如表1是明細(xì)數(shù)據(jù)表，表2是用戶維表，在查詢階段的JOIN可以通過篩選用戶維表，然后與明細(xì)數(shù)據(jù)表關(guān)聯(lián)，達(dá)到篩選過濾數(shù)據(jù)的目的。這樣的改進(jìn)將帶來幾個(gè)好處：

• 減少Hologres中的數(shù)據(jù)存儲(chǔ)量，避免實(shí)時(shí)表中存儲(chǔ)大量的數(shù)據(jù)冗余（如：同一個(gè)商品ID的數(shù)據(jù)會(huì)重復(fù)存儲(chǔ)）；
• 提升實(shí)時(shí)數(shù)據(jù)中維度屬性的時(shí)效性，在查詢階段實(shí)時(shí)JOIN維表數(shù)據(jù)后進(jìn)行計(jì)算，可以使得我們?cè)谕ㄟ^維度篩選數(shù)據(jù)的時(shí)候，始終用的是最新的維度屬性。

2. 持久化存儲(chǔ)

我們未來將探索如何將常用維度的實(shí)時(shí)數(shù)據(jù)，利用Hologres的計(jì)算和存儲(chǔ)能力，將計(jì)算結(jié)果持久化存儲(chǔ)。

嘉賓介紹：

張照亮

阿里巴巴 | 高級(jí)技術(shù)專家

張照亮，阿里花名"士恒"，阿里巴巴搜索事業(yè)部高級(jí)技術(shù)專家，目前主要負(fù)責(zé)搜推大數(shù)據(jù)解決方案迭代演進(jìn)和部分業(yè)務(wù)側(cè)數(shù)據(jù)產(chǎn)品架構(gòu)設(shè)計(jì)和研發(fā)工作。