[導讀]導讀:大數(shù)據(jù)架構(gòu)在金融場景下面臨著諸多挑戰(zhàn),從架構(gòu)上而言,業(yè)務(wù)對數(shù)據(jù)加工、存儲和使用的全鏈路服務(wù)提出了更細致的管控需求;從使用上而言,用戶并不想理解大數(shù)據(jù)架構(gòu)的具體實現(xiàn)和管控的細節(jié),用戶只想以更低的門檻、更快的方式來使用產(chǎn)品;從管理上而言,公司希望能夠?qū)?shù)據(jù)加工、處理過程中的相關(guān)...
導讀:大數(shù)據(jù)架構(gòu)在金融場景下面臨著諸多挑戰(zhàn),從架構(gòu)上而言,業(yè)務(wù)對數(shù)據(jù)加工、存儲和使用的全鏈路服務(wù)提出了更細致的管控需求;從使用上而言,用戶并不想理解大數(shù)據(jù)架構(gòu)的具體實現(xiàn)和管控的細節(jié),用戶只想以更低的門檻、更快的方式來使用產(chǎn)品;從管理上而言,公司希望能夠?qū)?shù)據(jù)加工、處理過程中的相關(guān)經(jīng)驗做到有效傳承。
本文主要針對上述問題分享對應(yīng)的解決方案,分別是:①?基于百度云產(chǎn)品的大數(shù)據(jù)架構(gòu)——MMR,管控需求;②?度小滿數(shù)據(jù)湖管理與分析平臺——鴻鵠,降門檻;③?度小滿模型訓練監(jiān)控評估體系——易創(chuàng),經(jīng)驗傳承。01大數(shù)據(jù)云化架構(gòu)——MMR度小滿大數(shù)據(jù)云化架構(gòu)是建立在百度云大數(shù)據(jù)產(chǎn)品基礎(chǔ)之上的,百度云標準的大數(shù)據(jù)產(chǎn)品解決方案與開源的大數(shù)據(jù)解決方案類似。首先是通過用戶提交任務(wù),進入到計算層,承接計算需求。再到存儲層,承接數(shù)據(jù)的存儲需求。為了滿足更細致的管控需求,我們對架構(gòu)進行了一次延展。
我們將架構(gòu)分為以下幾個部分:接入層、表控層、計算層、虛擬存儲層、物理存儲層。1. 用戶層在用戶層主要實現(xiàn)的是對從用戶操作到人的管控。具體實現(xiàn)方式主要是:我們會在用戶的大數(shù)據(jù)的入口進行改造,打通度小滿的員工管理系統(tǒng),大數(shù)據(jù)服務(wù)的用戶在登陸作業(yè)機時會標注自己的身份,在提交操作和命令時,可以從架構(gòu)上識別出個人的身份,這樣一來,在提交命令或者是操作時是帶著個人身份操作,所有任務(wù)和用戶操作都可以定位到具體的責任人。2. 表控制管理層針對表控制管理層,滿足了結(jié)構(gòu)化數(shù)據(jù)部分共享的業(yè)務(wù)需求,即大數(shù)據(jù)存儲數(shù)據(jù)是以Hive表為基礎(chǔ),Hive表里可能有一百、幾百或上千個字段,不同的字段有不同的密級要求。例如,在100個字段里,只有20個字段是希望共享的,其余80個是不希望共享的,這種情況就需要對表進行字段級的權(quán)限控制?;诖耍覀儗⒃谕鈱咏⒂嗅槍π缘臋?quán)限控制中心,用戶可以在平臺上對表進行字段級別的密級標注以及共享和申請使用的權(quán)限設(shè)置。通過這種方式,用戶提交任務(wù)到Hive Server或Spark Server時,服務(wù)層會有一段邏輯來校驗用戶提交的任務(wù)或者操作需要字段是否同時擁有該字段的權(quán)限,以此來決定是否放行實現(xiàn)字段級別的權(quán)限控制。3. 計算層在計算層主要是對資源的控制,主要是依賴百度云基礎(chǔ)架構(gòu)的能力。在計算層和存儲層,度小滿架設(shè)了虛擬管理層,虛擬管理層主要解決了非結(jié)構(gòu)化數(shù)據(jù)的共享需求和隔離需求。一般而言,每個業(yè)務(wù)的細分方向具有私密性,但每個業(yè)務(wù)的數(shù)據(jù)加工團隊,都有上游和下游,都會面臨數(shù)據(jù)的部分分享和使用的需求。針對這類情況,我們對目錄層面進行權(quán)限管控。在目錄權(quán)限控制的基礎(chǔ)上,同時約定使用方訪問的IP、IP段可以做到更細微的管控。在保證業(yè)務(wù)隔離的基礎(chǔ)上實現(xiàn)一定程度的數(shù)據(jù)共享,從而保障所有數(shù)據(jù)的操作、使用都是可控的,所有的過程都是可審計的。
在此基礎(chǔ)上,我們還面臨著一個更大的問題——業(yè)務(wù)是從百度架構(gòu)過度到當前的百度云開源的數(shù)據(jù)架構(gòu),類似于從閉源的大數(shù)據(jù)架構(gòu)到開源的大數(shù)據(jù)架構(gòu)。雖然計算邏輯或是計算方式上大致是相同的,但是在很多細節(jié)上比如入口設(shè)計、使用習慣和功能體驗是不一致的。為了解決差異:- 首先,要統(tǒng)一用戶的使用習慣,把用戶所有訪問大數(shù)據(jù)服務(wù)使用的工具組裝成統(tǒng)一的Client,在統(tǒng)一client對差異進行自動的抹平。用戶在由百度架構(gòu)到百度云架構(gòu)到遷移的過程的工作主要是修改配置、驗證結(jié)果,不會涉及到代碼層面的修改。
- 其次,虛擬存儲層的建設(shè)、實現(xiàn)存儲層的兼容,以文件系統(tǒng)的使用方式和使用習慣去訪問對象存儲,在用戶層面看來功能和體驗是一致的。
智能調(diào)度
本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除( 郵箱:macysun@21ic.com )。
在全球汽車產(chǎn)業(yè)向電動化、智能化轉(zhuǎn)型的浪潮中,中國電動汽車制造商憑借完整的產(chǎn)業(yè)鏈優(yōu)勢和技術(shù)創(chuàng)新能力,正從“產(chǎn)品出?!毕颉吧鷳B(tài)出?!笨缭?。物聯(lián)網(wǎng)作為連接車輛、基礎(chǔ)設(shè)施、用戶與云端的核心技術(shù),打破了地域、標準與服務(wù)的邊界,通過...
關(guān)鍵字:
物聯(lián)網(wǎng)
新能源
大數(shù)據(jù)
在數(shù)字化浪潮席卷全球的今天,云計算、大數(shù)據(jù)、人工智能等新興技術(shù)正以前所未有的速度重塑著我們的生活與工作方式。而在這些技術(shù)的背后,虛擬化技術(shù)作為基石,默默支撐著整個IT架構(gòu)的高效運轉(zhuǎn)。從大型企業(yè)的數(shù)據(jù)中心到個人電腦的虛擬機...
關(guān)鍵字:
虛擬化
大數(shù)據(jù)
在人工智能、自動駕駛與大數(shù)據(jù)處理等高性能計算場景的驅(qū)動下,傳統(tǒng)存儲體系面臨著速度、功耗與可靠性的三重瓶頸。作為典型的非易失性磁電存儲技術(shù),磁阻隨機存取存儲器(MRAM)憑借高速讀寫、低功耗、非易失性與高耐久性的核心優(yōu)勢,...
關(guān)鍵字:
人工智能
自動駕駛
大數(shù)據(jù)
上海2025年12月18日 /美通社/ -- 時隔三年,美通社新傳播年度大獎與論壇即將在2026年1月15日于上海舉辦。本次活動不僅將表彰過去一年以來,在內(nèi)容創(chuàng)新、傳播策略與技術(shù)監(jiān)測等領(lǐng)域做出杰出貢獻的品牌與個人,還將啟...
關(guān)鍵字:
AI
大數(shù)據(jù)
觸點
NAS
在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力。從用戶行為追蹤到供應(yīng)鏈優(yōu)化,從市場趨勢預測到風險管控,數(shù)據(jù)的價值正以前所未有的速度被挖掘。然而,面對海量、多源、異構(gòu)的數(shù)據(jù),傳統(tǒng)IT架構(gòu)已難以滿足高效處理與分析...
關(guān)鍵字:
云計算
大數(shù)據(jù)
蘇州2025年11月27日 /美通社/ -- 由希鷗網(wǎng)主辦的第36屆華商創(chuàng)新論壇將于2026年1月11日在蘇州市會議中心隆重舉行。同期還將舉辦第十一屆金鷗獎頒獎典禮及ABEC亞洲影響力年度創(chuàng)新盛典。本次活動由金鷗斯瑞大數(shù)...
關(guān)鍵字:
人工智能
矩陣
大數(shù)據(jù)
網(wǎng)絡(luò)
在當今數(shù)字化浪潮中,智算時代正以前所未有的速度席卷而來。隨著人工智能、大數(shù)據(jù)、云計算等前沿技術(shù)的迅猛發(fā)展,對算力的需求呈指數(shù)級增長。數(shù)據(jù)中心作為算力的核心承載平臺,其規(guī)模和復雜度不斷攀升,而由此帶來的散熱問題成為了制約行...
關(guān)鍵字:
算力
人工智能
大數(shù)據(jù)
重慶2025年10月20日 /美通社/ -- 近日,重慶市醫(yī)學影像大數(shù)據(jù)與醫(yī)療AI研究中心落戶江北戰(zhàn)略合作框架協(xié)議簽約活動舉行。西門子醫(yī)療、重慶市大數(shù)據(jù)發(fā)展局、市衛(wèi)生健康委、重慶醫(yī)科大學及江北區(qū)政府"五方"代表共同出席。...
關(guān)鍵字:
大數(shù)據(jù)
應(yīng)用發(fā)展
西門子
醫(yī)學影像
上海 2025年6月23日 /美通社/ -- 近期,黑芝麻智能分享了其如何通過零拷貝共享內(nèi)存技術(shù),解決車載多域間大數(shù)據(jù)傳輸?shù)难舆t與資源消耗問題。核心技術(shù)包括全局內(nèi)存管理單元和dmabuf機制優(yōu)化,顯著降低CPU負載與D...
關(guān)鍵字:
內(nèi)存
數(shù)據(jù)傳輸
大數(shù)據(jù)
BUF
上?!?025年6月19日,亞馬遜云科技中國峰會在上海召開。峰會期間,亞馬遜全球副總裁、亞馬遜云科技大中華區(qū)總裁儲瑞松全面闡述了隨著生成式AI場景和應(yīng)用的快速落地,AI發(fā)展也迎來Agentic AI技術(shù)的爆發(fā),企業(yè)需要...
關(guān)鍵字:
AI
存儲
大數(shù)據(jù)
在人類發(fā)展的歷史長河中,工業(yè)革命始終是推動社會進步與經(jīng)濟發(fā)展的強大動力。從第一次工業(yè)革命的蒸汽動力開啟機械化時代,到第二次工業(yè)革命電力與內(nèi)燃機帶來的大規(guī)模生產(chǎn),再到第三次工業(yè)革命中電子技術(shù)與信息技術(shù)引領(lǐng)的自動化與信息化浪...
關(guān)鍵字:
人工智能
云計算
大數(shù)據(jù)
在能源轉(zhuǎn)型與數(shù)字化浪潮的雙重推動下,電力行業(yè)正經(jīng)歷著前所未有的變革。新型電力系統(tǒng)的建設(shè)加速推進,分布式新能源、電動汽車、儲能設(shè)備等新型電力元素大規(guī)模接入,使得電力系統(tǒng)的供需互動更加復雜。與此同時,大數(shù)據(jù)技術(shù)的蓬勃發(fā)展,為...
關(guān)鍵字:
電力鴻蒙
大數(shù)據(jù)
上海2025年4月23日 /美通社/ -- 2025年4月16日下午,美通社與界面財聯(lián)社聯(lián)合舉辦的媒體開放日活動在界面財聯(lián)社上海辦公區(qū)會議室舉行。界面財聯(lián)社黨委委員、副總裁,界面新聞高級副總裁,上海報業(yè)傳媒行業(yè)協(xié)會副會長...
關(guān)鍵字:
AI
人工智能
流媒體
大數(shù)據(jù)
上海2025年4月18日 /美通社/ -- 近期,全球可持續(xù)餐飲和價值體驗的領(lǐng)導者,索迪斯在2025未來學校建設(shè)大會上榮獲BEED AWARDS 2025"高品質(zhì)學校合作伙伴(運營創(chuàng)新類)"。...
關(guān)鍵字:
人工智能
樓宇
虛擬現(xiàn)實
大數(shù)據(jù)
上海2025年4月14日 /美通社/ -- 4月10日,由中國涂料工業(yè)協(xié)會主辦的"2025中國國際涂料大會"(簡稱"涂料大會")在杭州舉行,立邦受邀出席,與來自政府、協(xié)會...
關(guān)鍵字:
數(shù)字化
智能制造
智能化
大數(shù)據(jù)
深圳2025年4月9日 /美通社/ -- 第91屆中國國際醫(yī)療器械博覽會(CMEF)如約而至,人工智能技術(shù)與醫(yī)療設(shè)備的深度融合成為行業(yè)共識。隨著AI醫(yī)療設(shè)備進入規(guī)?;瘧?yīng)用階段...
關(guān)鍵字:
AI
大數(shù)據(jù)
醫(yī)療設(shè)備
AI技術(shù)
在城市化進程加速的今天,城市安全面臨前所未有的挑戰(zhàn):人口密集、基礎(chǔ)設(shè)施復雜、災(zāi)害風險多樣。平安城市大腦作為智慧城市的核心中樞,通過大數(shù)據(jù)與AI算法的深度融合,構(gòu)建起覆蓋全域的風險預測與應(yīng)急響應(yīng)體系,成為守護城市安全的“超...
關(guān)鍵字:
平安城市
大數(shù)據(jù)
AI
在2025年的汽車科技浪潮中,智能座艙正以前所未有的速度重塑著人們的出行體驗。從最初簡單的車載娛樂系統(tǒng),到如今融合了人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等先進技術(shù)的移動生活空間,智能座艙的技術(shù)圖譜正不斷擴展,展現(xiàn)出從多模態(tài)交互到車路...
關(guān)鍵字:
智能座艙
人工智能
大數(shù)據(jù)
在當下科技領(lǐng)域,算力堪稱發(fā)展的核心驅(qū)動力。從人工智能大模型的訓練,到大數(shù)據(jù)的高效處理,算力的需求呈井噴式增長。傳統(tǒng)的電計算方式在面對日益增長的算力需求時,逐漸顯露出瓶頸,而光計算作為一種極具潛力的新興計算方式,正悄然崛起...
關(guān)鍵字:
算力
人工智能
大數(shù)據(jù)
智能電網(wǎng)作為現(xiàn)代能源體系的核心架構(gòu),正引領(lǐng)著電力行業(yè)邁向全新的發(fā)展階段。它通過先進的信息技術(shù)和通信技術(shù),實現(xiàn)了電力生產(chǎn)、傳輸、分配和消費的智能化管理,極大地提高了能源利用效率和電力系統(tǒng)的可靠性。而在智能電網(wǎng)的構(gòu)建與運行過...
關(guān)鍵字:
智能電網(wǎng)
大數(shù)據(jù)