┊文章閱讀:次
大數(shù)據(jù)分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析,屬于兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域,大數(shù)據(jù)存儲(chǔ)用于大數(shù)據(jù)分析。大數(shù)據(jù)存儲(chǔ)重點(diǎn)在于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái);大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。目前無(wú)論是大數(shù)據(jù)存儲(chǔ)還是大數(shù)據(jù)分析,都已經(jīng)成為幫助企業(yè)主業(yè)務(wù)的關(guān)鍵應(yīng)用。在智能家居領(lǐng)域,例如家庭數(shù)字網(wǎng)絡(luò)攝像頭的云端存儲(chǔ),音視頻設(shè)備背后的云端流媒體,家庭電量實(shí)施云端監(jiān)測(cè)等等,都在大規(guī)模使用云存儲(chǔ)和分析技術(shù)。
智能家居云存儲(chǔ)方式
高度智能化的智能家居涉及數(shù)據(jù)量非常龐大,傳統(tǒng)存儲(chǔ)技術(shù)無(wú)法滿足,所有云存儲(chǔ)技術(shù)的逐漸發(fā)展與應(yīng)用也為智能家居的發(fā)展迎來(lái)了廣泛的關(guān)注。
下面舉例其中一種云存儲(chǔ)方式:
新一代的面向智能家居大數(shù)據(jù)云存儲(chǔ)系統(tǒng)主要由邏輯控制模塊、用戶訪問模塊、存儲(chǔ)模塊、文件讀/寫模塊和面向智能家居的大數(shù)據(jù)云存儲(chǔ)模塊。
邏輯控制模塊:是整個(gè)面向智能家居大數(shù)據(jù)云存儲(chǔ)系統(tǒng)的核心,是邏輯處理的樞紐,各業(yè)務(wù)請(qǐng)求均在該模塊中被處理。
用戶訪問模塊是智能家居中的用戶和云儲(chǔ)存系統(tǒng)交互的紐帶,利用該模塊可以透明地為用戶提供底層實(shí)現(xiàn)的各項(xiàng)功能。
存儲(chǔ)模塊為新一代智能家居云存儲(chǔ)系統(tǒng)提供了透明的存取功能。文件讀/寫模塊主要負(fù)責(zé)將上層邏輯處理和底層存儲(chǔ)進(jìn)行隔離。
邏輯結(jié)構(gòu):請(qǐng)求處理后傳輸至存儲(chǔ)模塊,再由存儲(chǔ)模塊發(fā)送到面向智能家居的大數(shù)據(jù)云存儲(chǔ)模塊,在該模塊中實(shí)現(xiàn)大數(shù)據(jù)云存儲(chǔ)。
每個(gè)數(shù)據(jù)的處理流程:
每一個(gè)數(shù)據(jù)都有一個(gè)ETL,就是抽取、轉(zhuǎn)化,然后去加載,包括做數(shù)據(jù)的清洗。如果數(shù)據(jù)大批量進(jìn)來(lái),有些數(shù)據(jù)可能是有問題的。比如說(shuō),好多地址會(huì)寫得比較模糊,如果要搜索北京這個(gè)詞的時(shí)候,數(shù)據(jù)倉(cāng)庫(kù)里可能只有一個(gè)京字,這些都要統(tǒng)一整理成一個(gè),比如說(shuō)北京,這樣后面分析就會(huì)簡(jiǎn)單,比如山東,有人會(huì)輸入“魯”字來(lái)進(jìn)行搜索,而不是山東,這就需要在大數(shù)據(jù)分析前期做好數(shù)據(jù)清理工作,做規(guī)范化,這樣后面的數(shù)據(jù)分析起來(lái)就方便很多。
大數(shù)據(jù)的分布式計(jì)算:
通常用于數(shù)據(jù)分析平臺(tái)的分布式計(jì)算平臺(tái)內(nèi)的存儲(chǔ)不是我們以往面對(duì)的網(wǎng)絡(luò)附加存儲(chǔ)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN),而通常是內(nèi)置的直連存儲(chǔ)(NAS)以及組成集群的分布式計(jì)算節(jié)點(diǎn),無(wú)論是數(shù)據(jù)部署安全、保護(hù)和保存流程都非常復(fù)雜。但大數(shù)據(jù)分析中包含各種快速成長(zhǎng)中的技術(shù),簡(jiǎn)單用分布式技術(shù)對(duì)其定義也并不準(zhǔn)確。
Copyright @ 2013-2018 中國(guó)福建網(wǎng) 版權(quán)所有
聯(lián)系我們
免責(zé)聲明:本站為非營(yíng)利性網(wǎng)站,部分圖片或文章來(lái)源于互聯(lián)網(wǎng)如果無(wú)意中對(duì)您的權(quán)益構(gòu)成了侵犯,我們深表歉意,請(qǐng)您聯(lián)系,我們立即刪除。