京東物流基于Doris的億級數(shù)據(jù)自助探索應用
時間：2021-08-19 16:29:55
手機看文章
掃描二維碼
隨時隨地手機看文章
[導讀]導讀：京東智慧物流在數(shù)據(jù)應用方面，主要是基于大數(shù)據(jù)預測分析技術實現(xiàn)智能化的調(diào)度、決策，提升物流效率，最終提升客戶的體驗。但面對億級數(shù)據(jù)的業(yè)務場景，將會面臨著不同的問題和不同的處理方案。今天討論了京東物流在億級數(shù)據(jù)管理和應用方面，利用ApacheDoris進行的探索和實踐。01業(yè)務...
導讀：京東智慧物流在數(shù)據(jù)應用方面，主要是基于大數(shù)據(jù)預測分析技術實現(xiàn)智能化的調(diào)度、決策，提升物流效率，最終提升客戶的體驗。但面對億級數(shù)據(jù)的業(yè)務場景，將會面臨著不同的問題和不同的處理方案。今天討論了京東物流在億級數(shù)據(jù)管理和應用方面，利用Apache Doris進行的探索和實踐。01業(yè)務場景介紹首先和大家分享下京東物流業(yè)務的需求和億級數(shù)據(jù)自助應用的背景。介紹京東物流經(jīng)營數(shù)據(jù)發(fā)展路線，底層數(shù)據(jù)的演進思路，業(yè)務對于數(shù)據(jù)訴求迭代。1.?業(yè)務需要什么京東物流除了包括快遞服務的倉、運、配三個環(huán)節(jié)外，它的一體化供應鏈物流服務，則更多是基于對商品銷售和供應鏈的理解，合理規(guī)劃倉網(wǎng)，分布庫存，提前將用戶需要的貨物儲存到其在全國范圍數(shù)百個不同等級的倉庫中。當用戶下單后，商品將直接從最近的倉庫送達站點，開始配送。用戶下單后，快遞公司會通過干線網(wǎng)絡，將貨物運輸至對應的區(qū)域，再分發(fā)至配送站點進行配送。這些服務以一體化解決方案的形式提供予客戶，滿足客戶的各種需求，業(yè)務極其復雜。對于我們數(shù)據(jù)側的建設工作者來說，會遇到各種各樣的現(xiàn)實問題：- 早：海量數(shù)據(jù)的多維查詢已經(jīng)成為常態(tài)，高時效保障是業(yè)務的最新追求，甚至要求實時；
- 散：數(shù)據(jù)存儲在不同的業(yè)務系統(tǒng)，各個系統(tǒng)沒有標準的數(shù)據(jù)規(guī)范， 數(shù)據(jù)重復建設；
- 重：日報、周報、半月報、月報等工作效率低，部分重復工作多，數(shù)據(jù)統(tǒng)計費時費力；
- 慢：全國區(qū)域、戰(zhàn)區(qū)以及各產(chǎn)品群數(shù)據(jù)場景多樣，無法快速響應數(shù)據(jù)變化；
- 缺：缺少統(tǒng)一的數(shù)據(jù)資產(chǎn)管理，運營人員無法方便、快捷地進行統(tǒng)一的數(shù)據(jù)分析；
- 難：領導獲取數(shù)據(jù)難， 營銷投入產(chǎn)出比衡量難，數(shù)據(jù)驅動業(yè)務難，數(shù)據(jù)價值挖掘難。
① 生產(chǎn)系統(tǒng)是指在正常情況下支持單位日常業(yè)務運作的信息系統(tǒng)。它包括生產(chǎn)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)處理系統(tǒng)和生產(chǎn)網(wǎng)絡。② 數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。為需要業(yè)務智能的企業(yè)，提供指導業(yè)務流程改進、監(jiān)視時間、成本、質量以及控制。③ 數(shù)據(jù)集市是基于京東數(shù)據(jù)倉庫和大數(shù)據(jù)平臺構建的面向各BG/BU的數(shù)據(jù)環(huán)境，為各BG/BU提供數(shù)據(jù)應用服務，包含CFO、CMO、COO、MOBILE等數(shù)據(jù)集市。④ 應用系統(tǒng)是指可以發(fā)揮數(shù)據(jù)價值去輔助用戶更優(yōu)地做決策（甚至行動）的一種產(chǎn)品形式。3. 數(shù)據(jù)團隊怎么做：業(yè)財數(shù)據(jù)體系建設每個公司的業(yè)務數(shù)據(jù)和財務數(shù)據(jù)是天然割裂的狀態(tài)。舉例來說，一家全國規(guī)模的連鎖店，每個店的店員的薪資和日程運營的費用（如水電費）怎么來反映到每一單上面去，如何把業(yè)務數(shù)據(jù)和財務數(shù)據(jù)打通，這有點像銀行的分潤，把業(yè)務數(shù)據(jù)規(guī)范到每一個環(huán)節(jié)對應的每個功能點上去，即成本因素和收支因素的影響點，再把數(shù)據(jù)再給分擔上去。這也就是基礎模型搭建的一個過程，最終會支撐到上游資金分析體系的客戶的分析和成本支持。標準化后的管理側數(shù)據(jù)口徑、顆粒度及維度將全面滿足企業(yè)對精細化、實時化業(yè)財分析的要求，為業(yè)務財務出具專業(yè)的分析與報告提供數(shù)據(jù)支撐。同時，可復用的、具備公共能力的標準數(shù)據(jù)將支持企業(yè)在價值鏈條上建立多維分析架構，利用多層次、可交叉的分析直接加強企業(yè)對業(yè)務信息的鉆取能力，推動業(yè)務洞察和管理智能化。02面臨的困境數(shù)據(jù)可視化、靈活分析迫在眉睫，權限管理，數(shù)據(jù)安全需要保障。1.?數(shù)據(jù)可視化建設在數(shù)據(jù)導出控制方面：存在的隱患：數(shù)據(jù)導出至本地電腦，并做分析；數(shù)據(jù)導出后，無法做跟蹤控制。導出次數(shù)達3000次/周。解決方案：- 長遠解決方案：用戶需求反哺，沉淀方法論，線下分析報表化，支持自助探索。
- 短期解決方案：導出時，彈窗提醒法律風險；導出形成賬單，并每月發(fā)送給區(qū)總了解。
- 分析權限：因歷史積累，訪問大數(shù)據(jù)開發(fā)分析平臺的權限不匹配當前安全要求。例如，有些業(yè)務分析師可以訪問庫內(nèi)全量表，未區(qū)分區(qū)域；
- 指標權限：指標的訪問權限控制散落在各系統(tǒng)管理，無法做到統(tǒng)一控制，容易混亂和遺漏。
- 分析權限：梳理BDP訪問權限，按照業(yè)務特性縮小訪問范圍，并制定崗位權限白皮書；
- 指標權限：指標出口由統(tǒng)一數(shù)據(jù)API進行控制，指標查看權限設置由指標收口人在資產(chǎn)管理平臺統(tǒng)一設置。
與業(yè)務用戶代表組成調(diào)研小組，對后續(xù)工具選型進行調(diào)研：- 內(nèi)部工具調(diào)研，京東動力目前處于快速迭代階段，調(diào)研現(xiàn)階段支持功能，定制化開發(fā)的相應速度；
- 外部工具調(diào)研，從成本，市場成熟度，產(chǎn)品易用性，擴展性，性能等多維度交叉比對市場主流BI工具的優(yōu)缺點；
- 內(nèi)外部工具對比，業(yè)務方、產(chǎn)品經(jīng)理以及研發(fā)三方組成專家評分組，對內(nèi)外部工具進行評分；
- 工具對比結論，最終確定BI工具實施方案。
目前京東物流數(shù)據(jù)探索領域分析工具的目標以及當前目標現(xiàn)狀的分析，包括：現(xiàn)狀情況：- 京東動力作為分析工具
- 動力從商城數(shù)據(jù)中臺引入
- 性能慢：分鐘級，高峰期出不來
- 上卷、下鉆等功能缺失
- 體驗不友好，拖拽繁瑣
- 提數(shù)，本地分析
- 隱患：數(shù)據(jù)導出后無法跟蹤
- 引入更適合的工具
- 調(diào)研：動力的計劃，Tableau、永洪BI等
- 提供便捷自助服務：一站式分析平臺，集數(shù)據(jù)準備、報告制作、數(shù)據(jù)分析為一體，業(yè)務人員也能輕松、快速地制作并分析數(shù)據(jù)報告，帶來業(yè)務驅動的數(shù)據(jù)分析工作模式。多維度下鉆和上卷。
- 內(nèi)嵌豐富組件，上線周期短，組件豐富，可以對所有數(shù)據(jù)源進行合并、搜索、交互和分析。
- 移動跨屏，無縫支持PC、iPhone、iPad和Android，并在這些終端設備上保持一致、易用的用戶體驗。
- 高性能，秒級計算，利用列存儲和內(nèi)存計算，實現(xiàn)千萬級數(shù)據(jù)分析的秒級響應；提升性能，支撐更多的分析維度和更大的數(shù)據(jù)范圍。
- 自主分析不便捷，加工鏈條過長，需要前端，UI，產(chǎn)品以及UI多方配合，資源協(xié)調(diào)困難，溝通成本較高；
- 定制化研發(fā)投入多，定制化開發(fā)，不同維度的分析需要開發(fā)不同的匯總以及前段展示界面，底表模型變更影響范圍廣；
- 圖表組件不豐富，對于每種新的應用場景均需要不同的額開發(fā)集成，各功能模塊之前需要聯(lián)調(diào)測試，開發(fā)周期長，暫不支持移動端；
- 無法跨屏展示
下載文檔
