[導(dǎo)讀]導(dǎo)讀:大數(shù)據(jù)架構(gòu)在金融場景下面臨著諸多挑戰(zhàn),從架構(gòu)上而言,業(yè)務(wù)對數(shù)據(jù)加工、存儲和使用的全鏈路服務(wù)提出了更細(xì)致的管控需求;從使用上而言,用戶并不想理解大數(shù)據(jù)架構(gòu)的具體實現(xiàn)和管控的細(xì)節(jié),用戶只想以更低的門檻、更快的方式來使用產(chǎn)品;從管理上而言,公司希望能夠?qū)?shù)據(jù)加工、處理過程中的相關(guān)...
導(dǎo)讀:大數(shù)據(jù)架構(gòu)在金融場景下面臨著諸多挑戰(zhàn),從架構(gòu)上而言,業(yè)務(wù)對數(shù)據(jù)加工、存儲和使用的全鏈路服務(wù)提出了更細(xì)致的管控需求;從使用上而言,用戶并不想理解大數(shù)據(jù)架構(gòu)的具體實現(xiàn)和管控的細(xì)節(jié),用戶只想以更低的門檻、更快的方式來使用產(chǎn)品;從管理上而言,公司希望能夠?qū)?shù)據(jù)加工、處理過程中的相關(guān)經(jīng)驗做到有效傳承。
本文主要針對上述問題分享對應(yīng)的解決方案,分別是:①?基于百度云產(chǎn)品的大數(shù)據(jù)架構(gòu)——MMR,管控需求;②?度小滿數(shù)據(jù)湖管理與分析平臺——鴻鵠,降門檻;③?度小滿模型訓(xùn)練監(jiān)控評估體系——易創(chuàng),經(jīng)驗傳承。01大數(shù)據(jù)云化架構(gòu)——MMR度小滿大數(shù)據(jù)云化架構(gòu)是建立在百度云大數(shù)據(jù)產(chǎn)品基礎(chǔ)之上的,百度云標(biāo)準(zhǔn)的大數(shù)據(jù)產(chǎn)品解決方案與開源的大數(shù)據(jù)解決方案類似。首先是通過用戶提交任務(wù),進(jìn)入到計算層,承接計算需求。再到存儲層,承接數(shù)據(jù)的存儲需求。為了滿足更細(xì)致的管控需求,我們對架構(gòu)進(jìn)行了一次延展。
我們將架構(gòu)分為以下幾個部分:接入層、表控層、計算層、虛擬存儲層、物理存儲層。1. 用戶層在用戶層主要實現(xiàn)的是對從用戶操作到人的管控。具體實現(xiàn)方式主要是:我們會在用戶的大數(shù)據(jù)的入口進(jìn)行改造,打通度小滿的員工管理系統(tǒng),大數(shù)據(jù)服務(wù)的用戶在登陸作業(yè)機(jī)時會標(biāo)注自己的身份,在提交操作和命令時,可以從架構(gòu)上識別出個人的身份,這樣一來,在提交命令或者是操作時是帶著個人身份操作,所有任務(wù)和用戶操作都可以定位到具體的責(zé)任人。2. 表控制管理層針對表控制管理層,滿足了結(jié)構(gòu)化數(shù)據(jù)部分共享的業(yè)務(wù)需求,即大數(shù)據(jù)存儲數(shù)據(jù)是以Hive表為基礎(chǔ),Hive表里可能有一百、幾百或上千個字段,不同的字段有不同的密級要求。例如,在100個字段里,只有20個字段是希望共享的,其余80個是不希望共享的,這種情況就需要對表進(jìn)行字段級的權(quán)限控制?;诖?,我們將在外層建立有針對性的權(quán)限控制中心,用戶可以在平臺上對表進(jìn)行字段級別的密級標(biāo)注以及共享和申請使用的權(quán)限設(shè)置。通過這種方式,用戶提交任務(wù)到Hive Server或Spark Server時,服務(wù)層會有一段邏輯來校驗用戶提交的任務(wù)或者操作需要字段是否同時擁有該字段的權(quán)限,以此來決定是否放行實現(xiàn)字段級別的權(quán)限控制。3. 計算層在計算層主要是對資源的控制,主要是依賴百度云基礎(chǔ)架構(gòu)的能力。在計算層和存儲層,度小滿架設(shè)了虛擬管理層,虛擬管理層主要解決了非結(jié)構(gòu)化數(shù)據(jù)的共享需求和隔離需求。一般而言,每個業(yè)務(wù)的細(xì)分方向具有私密性,但每個業(yè)務(wù)的數(shù)據(jù)加工團(tuán)隊,都有上游和下游,都會面臨數(shù)據(jù)的部分分享和使用的需求。針對這類情況,我們對目錄層面進(jìn)行權(quán)限管控。在目錄權(quán)限控制的基礎(chǔ)上,同時約定使用方訪問的IP、IP段可以做到更細(xì)微的管控。在保證業(yè)務(wù)隔離的基礎(chǔ)上實現(xiàn)一定程度的數(shù)據(jù)共享,從而保障所有數(shù)據(jù)的操作、使用都是可控的,所有的過程都是可審計的。
在此基礎(chǔ)上,我們還面臨著一個更大的問題——業(yè)務(wù)是從百度架構(gòu)過度到當(dāng)前的百度云開源的數(shù)據(jù)架構(gòu),類似于從閉源的大數(shù)據(jù)架構(gòu)到開源的大數(shù)據(jù)架構(gòu)。雖然計算邏輯或是計算方式上大致是相同的,但是在很多細(xì)節(jié)上比如入口設(shè)計、使用習(xí)慣和功能體驗是不一致的。為了解決差異:- 首先,要統(tǒng)一用戶的使用習(xí)慣,把用戶所有訪問大數(shù)據(jù)服務(wù)使用的工具組裝成統(tǒng)一的Client,在統(tǒng)一client對差異進(jìn)行自動的抹平。用戶在由百度架構(gòu)到百度云架構(gòu)到遷移的過程的工作主要是修改配置、驗證結(jié)果,不會涉及到代碼層面的修改。
- 其次,虛擬存儲層的建設(shè)、實現(xiàn)存儲層的兼容,以文件系統(tǒng)的使用方式和使用習(xí)慣去訪問對象存儲,在用戶層面看來功能和體驗是一致的。
智能調(diào)度
本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
LED驅(qū)動電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。
關(guān)鍵字:
驅(qū)動電源
在工業(yè)自動化蓬勃發(fā)展的當(dāng)下,工業(yè)電機(jī)作為核心動力設(shè)備,其驅(qū)動電源的性能直接關(guān)系到整個系統(tǒng)的穩(wěn)定性和可靠性。其中,反電動勢抑制與過流保護(hù)是驅(qū)動電源設(shè)計中至關(guān)重要的兩個環(huán)節(jié),集成化方案的設(shè)計成為提升電機(jī)驅(qū)動性能的關(guān)鍵。
關(guān)鍵字:
工業(yè)電機(jī)
驅(qū)動電源
LED 驅(qū)動電源作為 LED 照明系統(tǒng)的 “心臟”,其穩(wěn)定性直接決定了整個照明設(shè)備的使用壽命。然而,在實際應(yīng)用中,LED 驅(qū)動電源易損壞的問題卻十分常見,不僅增加了維護(hù)成本,還影響了用戶體驗。要解決這一問題,需從設(shè)計、生...
關(guān)鍵字:
驅(qū)動電源
照明系統(tǒng)
散熱
根據(jù)LED驅(qū)動電源的公式,電感內(nèi)電流波動大小和電感值成反比,輸出紋波和輸出電容值成反比。所以加大電感值和輸出電容值可以減小紋波。
關(guān)鍵字:
LED
設(shè)計
驅(qū)動電源
電動汽車(EV)作為新能源汽車的重要代表,正逐漸成為全球汽車產(chǎn)業(yè)的重要發(fā)展方向。電動汽車的核心技術(shù)之一是電機(jī)驅(qū)動控制系統(tǒng),而絕緣柵雙極型晶體管(IGBT)作為電機(jī)驅(qū)動系統(tǒng)中的關(guān)鍵元件,其性能直接影響到電動汽車的動力性能和...
關(guān)鍵字:
電動汽車
新能源
驅(qū)動電源
在現(xiàn)代城市建設(shè)中,街道及停車場照明作為基礎(chǔ)設(shè)施的重要組成部分,其質(zhì)量和效率直接關(guān)系到城市的公共安全、居民生活質(zhì)量和能源利用效率。隨著科技的進(jìn)步,高亮度白光發(fā)光二極管(LED)因其獨特的優(yōu)勢逐漸取代傳統(tǒng)光源,成為大功率區(qū)域...
關(guān)鍵字:
發(fā)光二極管
驅(qū)動電源
LED
在LED照明技術(shù)日益普及的今天,LED驅(qū)動電源的電磁干擾(EMI)問題成為了一個不可忽視的挑戰(zhàn)。電磁干擾不僅會影響LED燈具的正常工作,還可能對周圍電子設(shè)備造成不利影響,甚至引發(fā)系統(tǒng)故障。因此,采取有效的硬件措施來解決L...
關(guān)鍵字:
LED照明技術(shù)
電磁干擾
驅(qū)動電源
開關(guān)電源具有效率高的特性,而且開關(guān)電源的變壓器體積比串聯(lián)穩(wěn)壓型電源的要小得多,電源電路比較整潔,整機(jī)重量也有所下降,所以,現(xiàn)在的LED驅(qū)動電源
關(guān)鍵字:
LED
驅(qū)動電源
開關(guān)電源
LED驅(qū)動電源是把電源供應(yīng)轉(zhuǎn)換為特定的電壓電流以驅(qū)動LED發(fā)光的電壓轉(zhuǎn)換器,通常情況下:LED驅(qū)動電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。
關(guān)鍵字:
LED
隧道燈
驅(qū)動電源
LED驅(qū)動電源在LED照明系統(tǒng)中扮演著至關(guān)重要的角色。由于LED具有節(jié)能、環(huán)保、長壽命等優(yōu)點,使得LED照明在各個領(lǐng)域得到廣泛應(yīng)用。然而,LED的電流、電壓特性需要特定的驅(qū)動電源才能正常工作。本文將介紹常用的LED驅(qū)動電...
關(guān)鍵字:
LED驅(qū)動電源
led照明
LED驅(qū)動電源是把電源供應(yīng)轉(zhuǎn)換為特定的電壓電流以驅(qū)動LED發(fā)光的電源轉(zhuǎn)換器,通常情況下:LED驅(qū)動電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。
關(guān)鍵字:
LED
驅(qū)動電源
高壓工頻交流
崧盛股份9日發(fā)布投資者關(guān)系活動記錄表,就植物照明發(fā)展趨勢、行業(yè)壁壘等問題進(jìn)行分享。植物照明未來市場需求廣闊崧盛股份指出,植物照明將會走向長期產(chǎn)業(yè)領(lǐng)域。主要原因有三:第一,LED植物照明賦能終端種植更具有經(jīng)濟(jì)價值。由于LE...
關(guān)鍵字:
崧盛股份
驅(qū)動電源
在當(dāng)今高度發(fā)展的技術(shù)中,電子產(chǎn)品的升級越來越快,LED燈技術(shù)也在不斷發(fā)展,這使我們的城市變得豐富多彩。 LED驅(qū)動電源將電源轉(zhuǎn)換為特定的電壓和電流,以驅(qū)動LED發(fā)光。通常情況下:LED驅(qū)動電源的輸入包括高壓工頻交流電(即...
關(guān)鍵字:
LED
驅(qū)動電源
高壓直流
人類社會的進(jìn)步離不開社會上各行各業(yè)的努力,各種各樣的電子產(chǎn)品的更新?lián)Q代離不開我們的設(shè)計者的努力,其實很多人并不會去了解電子產(chǎn)品的組成,比如LED電源。
關(guān)鍵字:
LED
驅(qū)動電源
低壓直流
隨著科學(xué)技術(shù)的發(fā)展,LED技術(shù)也在不斷發(fā)展,為我們的生活帶來各種便利,為我們提供各種各樣生活信息,造福著我們?nèi)祟?。LED驅(qū)動電源實際上是一種電源,但是它是一種特定的電源,用于驅(qū)動LED發(fā)射帶有電壓或電流的光。 因此,LE...
關(guān)鍵字:
LED
驅(qū)動電源
電流
LED燈作為一種新型節(jié)能和無污染光源,由于其特有的發(fā)光照明特性,在現(xiàn)代照明應(yīng)用中發(fā)揮著革命性的作用。作為 LED 照明產(chǎn)業(yè)鏈中最為核心的部件之一,LED 驅(qū)動電源的驅(qū)動控制技術(shù)所存在的可靠性低、成本高等典型問題一直制約著...
關(guān)鍵字:
多路
LED
驅(qū)動電源
隨著社會的快速發(fā)展,LED技術(shù)也在飛速發(fā)展,為我們的城市的燈光煥發(fā)光彩,讓我們的生活越來越有趣,那么你知道LED需要LED驅(qū)動電源嗎?那么你知道什么是LED驅(qū)動電源嗎?
關(guān)鍵字:
LED
開關(guān)電源
驅(qū)動電源
早前有新聞稱,Cree在2018年開始宣布轉(zhuǎn)型高科技半導(dǎo)體領(lǐng)域,并一邊逐漸脫離照明與LED相關(guān)業(yè)務(wù),一邊持續(xù)投資半導(dǎo)體。在今日,Cree宣布與SMART Global Holdings, Inc.達(dá)成最終協(xié)議,擬將LED...
關(guān)鍵字:
cree
led照明