引言

葡萄作為一種健康食品,普遍受到消費者的喜愛。隨著生活水平的提高,葡萄的食用品質(zhì)及質(zhì)量安全越來越受關注。葡萄品質(zhì)受到溫度、降水量、日照時數(shù)、海拔高度、晝夜溫差、土壤性狀等環(huán)境因素的影響,另外也受到品種、管理技術的影響。影響葡萄質(zhì)量安全的主要因素是環(huán)境污染和農(nóng)藥、化肥、有機肥、生長調(diào)節(jié)劑的不規(guī)范應用。

面對目前的葡萄種植、消費狀況,如何提升葡萄質(zhì)量,增加效益,成為當前我國葡萄產(chǎn)業(yè)必須面對的問題。提升葡萄品質(zhì)及安全需要從影響葡萄品質(zhì)及安全的諸多因素入手,利用互聯(lián)網(wǎng)、傳感技術、物聯(lián)網(wǎng)技術、遙感技術,收集這些影響因素數(shù)據(jù),并進行儲存、挖掘、分析、決策,這是解決問題的基本思路。但由于影響葡萄品質(zhì)及安全的因素復雜,其數(shù)據(jù)來源廣泛、類型多樣、結(jié)構(gòu)復雜,難以應用通常的方法處理和分析。而數(shù)據(jù)倉庫技術的成熟及大數(shù)據(jù)技術的出現(xiàn),為處理葡萄種植的龐雜數(shù)據(jù)提供了條件。本文基于傳統(tǒng)的數(shù)據(jù)倉庫以及成熟的Hadoop大數(shù)據(jù)技術框架,通過對葡萄種植大數(shù)據(jù)需求進行詳細分析,設計出了葡萄種植大數(shù)據(jù)處理系統(tǒng),可實現(xiàn)葡萄種植大數(shù)據(jù)的實時快速處理。

1技術概述

Hadoop是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的開源分布式軟件平臺?；贖adoop平臺,可編寫和運行分布式應用處理的大規(guī)模數(shù)據(jù),實現(xiàn)在大量計算機組成的集群中對海量數(shù)據(jù)進行分布式計算。Hadoop主要由HDFs和MapReduce兩個核心部分組成,HDFs提供了對數(shù)據(jù)的海量存儲,而MapReduce提供了對數(shù)據(jù)的計算。Hadoop可處理任何格式的數(shù)據(jù)源,在處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)上,與關系型數(shù)據(jù)庫相比有更好的性能,具有更靈活的處理能力。

spark是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架,在大數(shù)據(jù)環(huán)境下,它既可以提高數(shù)據(jù)處理的實時性,又可以保證高容錯性和高可伸縮性,并且允許用戶將spark部署在大量廉價硬件之上,形成集群。spark擁有HadoopMapReduce所具有的優(yōu)點,與HadoopMapReduce相比,spark基于內(nèi)存的運算要快l00倍以上,基于硬盤的運算也要快l0倍以上。spark實現(xiàn)了高效的DAG執(zhí)行引擎功能,可以通過基于內(nèi)存來高效處理數(shù)據(jù)流。

項目來源:南寧市科學研究與技術開發(fā)計劃項目"基于大數(shù)據(jù)的葡萄智能化生產(chǎn)系統(tǒng)及配套標準化種植農(nóng)藝管理技術研究與生產(chǎn)示范"(20l7ll24一7)

數(shù)據(jù)倉庫(Datawarehouse)是一個面向主題的集成的相對穩(wěn)定的反映歷史變化的數(shù)據(jù)集合,其目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境,為企業(yè)提供決策支持。數(shù)據(jù)倉庫中的數(shù)據(jù)包括元數(shù)據(jù)、粒度數(shù)據(jù)、當前詳細數(shù)據(jù)、歷史數(shù)據(jù)、檔案數(shù)據(jù),其數(shù)據(jù)應用主要有報表展示、即時查詢、數(shù)據(jù)分析以及數(shù)據(jù)挖掘。根據(jù)數(shù)據(jù)倉庫所管理的數(shù)據(jù)類型和它們所解決的企業(yè)問題范圍,一般可將數(shù)據(jù)倉庫分為下列3種類型:操作型數(shù)據(jù)庫(oDs)、數(shù)據(jù)倉庫(Dw)和數(shù)據(jù)集市(DM)。

2葡萄種植大數(shù)據(jù)處理系統(tǒng)的分析與設計

企業(yè)的經(jīng)營活動會產(chǎn)生大量的原始數(shù)據(jù),這些數(shù)據(jù)經(jīng)過數(shù)據(jù)倉庫的清洗、提純、匯總,最終才能發(fā)揮它的效用,隨著企業(yè)應用數(shù)據(jù)倉庫技術的日漸深入,企業(yè)數(shù)據(jù)在實際應用中發(fā)揮了巨大的生產(chǎn)效益,但企業(yè)數(shù)據(jù)的不斷增長最終會讓數(shù)據(jù)倉庫的數(shù)據(jù)量突破PB量級,由此引起的數(shù)據(jù)倉庫硬件及維護成本在增加,而效率卻在降低。Hadoop技術的出現(xiàn),彌補了傳統(tǒng)數(shù)據(jù)倉庫的缺陷,它能讓數(shù)據(jù)倉庫無限擴展且對硬件要求不高,因此將傳統(tǒng)的數(shù)據(jù)倉庫融入Hadoop技術框架是一種解決問題的方法。

對于葡萄種植來說,要提升葡萄的質(zhì)量、增加效益,采用溫室大棚種植不失是一個好辦法。通過溫室大棚調(diào)節(jié)溫室氣候,可以讓葡萄的生長達到最佳狀態(tài)。在溫室大棚中安置傳感器,可對葡萄的生長環(huán)境進行多方位多點的精確采集和實時控制。通過傳感器實時采集農(nóng)業(yè)大棚內(nèi)的空氣溫度、濕度、光照、土壤溫度、土壤水分等環(huán)境參數(shù),然后利用葡萄種植大數(shù)據(jù)處理系統(tǒng),根據(jù)葡萄生長情況進行實時智能決策、預警預測。

葡萄種植大數(shù)據(jù)處理系統(tǒng)在設計上可分為4層,包括數(shù)據(jù)收集層、數(shù)據(jù)存儲與計算層、數(shù)據(jù)服務層以及數(shù)據(jù)應用層。其框架圖如圖1所示。

圖1葡萄種植大數(shù)據(jù)處理系統(tǒng)框架圖

2.1數(shù)據(jù)收集層

該層主要通過設備接口獲取葡萄種植園區(qū)傳感器、監(jiān)控設備、移動設備收集的數(shù)據(jù),通過網(wǎng)絡爬蟲獲取農(nóng)業(yè)類科學網(wǎng)網(wǎng)頁數(shù)據(jù),通過ETL獲取業(yè)務系統(tǒng)關系數(shù)據(jù)庫數(shù)據(jù)。由于這些數(shù)據(jù)包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化特征,且可能存在錯誤、冗余、無用數(shù)據(jù),所以需要進行清洗,以便可以得到干凈可用的數(shù)據(jù),為數(shù)據(jù)存儲提供保障。

2.2數(shù)據(jù)存儲與計算層

數(shù)據(jù)存儲與計算層包括企業(yè)數(shù)據(jù)倉庫、Hadoop平臺以及spark分布式計算框架。企業(yè)數(shù)據(jù)倉庫主要存儲結(jié)構(gòu)化數(shù)據(jù),而Hadoop平臺既可以存儲結(jié)構(gòu)化數(shù)據(jù),也可以存儲非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)倉庫存儲的數(shù)據(jù)可轉(zhuǎn)存于Hadoop平臺。由于數(shù)據(jù)倉庫和Hadoop平臺互為補充,可滿足客戶在不同使用場景下的業(yè)務需求。spark分布式計算框架與Hadoop平臺結(jié)合可為數(shù)據(jù)查詢、數(shù)據(jù)分析和數(shù)據(jù)挖掘提供平臺支撐。

2.3數(shù)據(jù)服務層

該層基于spark分布式計算框架及Hadoop平臺,可提供數(shù)據(jù)的管理、分析、挖掘功能:基于數(shù)據(jù)倉庫可實現(xiàn)數(shù)據(jù)統(tǒng)計及報表功能。為了方便數(shù)據(jù)的共享,數(shù)據(jù)服務層還提供統(tǒng)一的服務接口,供平臺應用及其他應用使用。

2.4數(shù)據(jù)應用層

該層可利用數(shù)據(jù)服務層的接口,可實現(xiàn)預警預測、知識發(fā)現(xiàn)、決策支持等應用。

3結(jié)語

目前,傳統(tǒng)的數(shù)據(jù)倉庫已經(jīng)非常成熟,而大數(shù)據(jù)技術還在逐漸完善,這兩種技術都有優(yōu)缺點且互補,傳統(tǒng)的數(shù)據(jù)倉庫和Hadoop適用于不同的任務,因此Hadoop不應該視為企業(yè)數(shù)據(jù)倉庫的替代品。傳統(tǒng)的數(shù)據(jù)倉庫用來保存結(jié)構(gòu)化的輔助數(shù)據(jù),而Hadoop用來存儲非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。企業(yè)級數(shù)據(jù)倉庫可以專門保存對于業(yè)務用戶具有重要價值的數(shù)據(jù)。兩者結(jié)合可以豐富并創(chuàng)造各自所含數(shù)據(jù)的價值,幫助企業(yè)建立無法通過其他方式得到的戰(zhàn)略優(yōu)勢。