基于Hadoop的卡口，百度路況等海量數(shù)據(jù)分析研判平臺研究設(shè)計(jì)

摘要:利用卡口數(shù)據(jù)、百度路況數(shù)據(jù)等海量交管數(shù)據(jù),基于Hadoop中間件平臺對海量數(shù)據(jù)分析研判平臺進(jìn)行了研究與設(shè)計(jì)。針對卡口數(shù)據(jù)、百度路況數(shù)據(jù)等海量數(shù)據(jù)特點(diǎn),結(jié)合基于Hadoop平臺的數(shù)據(jù)挖掘技術(shù),解決了異構(gòu)數(shù)據(jù)實(shí)時(shí)存儲分析、復(fù)雜網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)丟失、重復(fù)等問題,實(shí)現(xiàn)了中間件平臺的設(shè)計(jì)及海量數(shù)據(jù)分析研判平臺總體框架設(shè)計(jì),有效提高了大粒度、長周期數(shù)據(jù)的深度挖掘能力和數(shù)據(jù)處理存儲效率,滿足對數(shù)據(jù)深度挖掘、數(shù)據(jù)碰撞和應(yīng)用的需求。