中國(guó)福建網(wǎng)

當(dāng)前位置:中國(guó)福建網(wǎng) > 科技 > 正文

用一個(gè)平臺(tái)處理多模數(shù)據(jù),中國(guó)星環(huán)科技大數(shù)據(jù)平臺(tái)做到了!

作者: 編輯 來(lái)源:互聯(lián)網(wǎng) 發(fā)布時(shí)間:2020-05-19

┊文章閱讀:

2003年一場(chǎng)SARS,讓電商風(fēng)起,普通消費(fèi)者融入電商。

2020年新冠肺炎疫情,讓更多的企業(yè)家走進(jìn)直播,視野被打開,更多傳統(tǒng)產(chǎn)業(yè)不得不加速數(shù)字化。

一個(gè)更為廣闊的產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代已經(jīng)來(lái)臨,數(shù)字化轉(zhuǎn)型已經(jīng)真正的深入到每一個(gè)傳統(tǒng)產(chǎn)業(yè)和傳統(tǒng)企業(yè)當(dāng)中。

在這個(gè)令人激動(dòng)的數(shù)字時(shí)代時(shí)代,大數(shù)據(jù)技術(shù)正在與云計(jì)算、5G、AI等新技術(shù)融合,落地速度前所未有的加快。

2020年5月15日,星環(huán)科技全面升級(jí)了大數(shù)據(jù)、云計(jì)算、AI為主的三條產(chǎn)品線,并發(fā)布了一代搜索產(chǎn)品Transwarp New Search、知識(shí)圖譜全棧解決方案、基于邊緣計(jì)算的云邊一體AIoT解決方案、基于人工智能和復(fù)雜網(wǎng)絡(luò)的實(shí)時(shí)反欺詐解決方案等,展現(xiàn)了中國(guó)大數(shù)據(jù)基礎(chǔ)軟件與平臺(tái)企業(yè)創(chuàng)新成果,讓中國(guó)用戶更好的利用日益增加的數(shù)據(jù),發(fā)現(xiàn)數(shù)據(jù)中的價(jià)值。

1.用戶呼喚多模型的數(shù)據(jù)處理平臺(tái)

星環(huán)科技的創(chuàng)始人孫元浩介紹說,2008年開始,大數(shù)據(jù)平臺(tái)就是一組技術(shù)或者工具的組合。

在2013年創(chuàng)業(yè)時(shí),星環(huán)科技認(rèn)為光靠工具的組合不足以解決大數(shù)據(jù)的問題,必須用產(chǎn)品來(lái)解決大數(shù)據(jù)的4個(gè)V——數(shù)據(jù)量大、數(shù)據(jù)種類多、數(shù)據(jù)實(shí)時(shí)性高、要從數(shù)據(jù)中發(fā)掘價(jià)值。因此,星環(huán)推出Inceptor、Hyperbase、Slipstream、Discover等產(chǎn)品,分別解決大數(shù)據(jù)的面臨的4V挑戰(zhàn)。

到了2020年,對(duì)于一些單一的典型場(chǎng)景,市場(chǎng)上出現(xiàn)不同的產(chǎn)品,有了知名的解決方案,解決數(shù)據(jù)的多樣性。例如:結(jié)構(gòu)化數(shù)據(jù)使用Hive;動(dòng)態(tài)列模型使用Bigtable、Hbase;文檔處理使用MogoDB;圖數(shù)據(jù)使用Neo4j;搜索引擎ElasticSearch,等等。

但是這些產(chǎn)品都是孤立的,每一個(gè)或者類只能解決一類問題,不得不采用不同種類的數(shù)據(jù)庫(kù),并把它混在一起,需要將數(shù)據(jù)復(fù)制很多份,成本高,效率低。

今天,客戶對(duì)這種架構(gòu)越來(lái)越難容忍,希望能用一套大數(shù)據(jù)平臺(tái),解決各種復(fù)雜的數(shù)據(jù)結(jié)構(gòu)問題。具體而言,客戶希望用一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái),處理多種數(shù)據(jù)模型,并能夠提供統(tǒng)一的編程語(yǔ)言、統(tǒng)一的計(jì)算引擎,使用統(tǒng)一的存儲(chǔ)管理系統(tǒng)、統(tǒng)一的資源調(diào)度系統(tǒng),支持多種不同的數(shù)據(jù)模型。

目前,大數(shù)據(jù)行業(yè)一個(gè)明顯的發(fā)展趨勢(shì)就是推出一個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái),能夠處理多種數(shù)據(jù)模型,能夠提供統(tǒng)一的編程語(yǔ)言、統(tǒng)一的計(jì)算引擎,使用統(tǒng)一的存儲(chǔ)管理系統(tǒng)、統(tǒng)一的資源調(diào)度系統(tǒng),能夠支持多種不同的數(shù)據(jù)模型。

孫元浩說:“我們把這個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái),稱為多模型異構(gòu)的數(shù)據(jù)處理平臺(tái)?!?/p>

2.一站式大數(shù)據(jù)平臺(tái)解決大數(shù)據(jù)4V

Transwarp Data Hub(TDH)是星環(huán)科技推出的企業(yè)級(jí)大數(shù)據(jù)平臺(tái),經(jīng)過7年的快速演進(jìn),不斷發(fā)展成熟,在郵政、交通、金融、政府等行業(yè)獲得了大量的部署實(shí)施經(jīng)驗(yàn),同時(shí)向新生的大數(shù)據(jù)技術(shù)領(lǐng)域進(jìn)行的拓展和探索。

5月15日,星環(huán)科技全面升級(jí)了大數(shù)據(jù)、云計(jì)算、AI為主的三條產(chǎn)品線,發(fā)布了Transwarp Data Hub7.0。

作為星環(huán)科技一站式大數(shù)據(jù)平臺(tái)TDH的最新版本——7.0版本,其一站式多模異構(gòu)數(shù)據(jù)處理性能亮眼,打破了行業(yè)內(nèi)普遍存在的不同數(shù)據(jù)庫(kù)產(chǎn)品切換的不便利,徹底解決大數(shù)據(jù)發(fā)展的一大瓶頸。

星環(huán)科技研發(fā)總監(jiān)呂程在回答中國(guó)軟件網(wǎng)記者提問時(shí)認(rèn)為,作為一個(gè)多模型的數(shù)據(jù)處理平臺(tái),TDH7.0可以提供統(tǒng)一的數(shù)據(jù)操作/查詢語(yǔ)言SQL、統(tǒng)一的數(shù)據(jù)計(jì)算引擎、統(tǒng)一的分布式存儲(chǔ)管理系統(tǒng)、統(tǒng)一的資源管理框架,滿足利用一個(gè)多模異構(gòu)平臺(tái),處理多種數(shù)據(jù)的需求。

據(jù)介紹,TDH從上而下劃分為五個(gè)層次:

最上層是SQL層,開發(fā)了統(tǒng)一的SQL引擎,兼容各種不同的SQL方言;

計(jì)算層,開發(fā)了統(tǒng)一的計(jì)算引擎,進(jìn)行統(tǒng)一的計(jì)算任務(wù)優(yōu)化和分發(fā);

其下的存儲(chǔ)模型層,TDH一個(gè)平臺(tái)支持七種不同的存儲(chǔ)模型,適用于不同的應(yīng)用場(chǎng)景,包括:圖存儲(chǔ)Graph Storage、文檔存儲(chǔ)Document Storage、全文檢索Full-text Search、鍵值存儲(chǔ)Key-Value Storage、行列混合存儲(chǔ)Row-Columnar Storage、時(shí)空地理存儲(chǔ)Sequential Geospatial Storage、非結(jié)構(gòu)化對(duì)象存儲(chǔ)Unstructured Object Storage。

存儲(chǔ)管理層,開發(fā)了統(tǒng)一的存儲(chǔ)管理引擎,提供數(shù)據(jù)塊分布管理、數(shù)據(jù)多副本一致性管理、文件服務(wù)管理等功能;

最底層資源調(diào)度層,開發(fā)了統(tǒng)一的資源調(diào)度框架,通過容器化編排,統(tǒng)一調(diào)度計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源。

星環(huán)科技通過自主研發(fā),用TDH一站式平臺(tái)解決方案,解決了大數(shù)據(jù)應(yīng)用的四個(gè)V的問題:

大量化(volume),采用分布式計(jì)算和分布式存儲(chǔ)框架,充分利用計(jì)算機(jī)集群的整體計(jì)算和存儲(chǔ)能力,解決了數(shù)據(jù)大量化問題。

速度化(velocity):采用實(shí)時(shí)流處理引擎,解決了用戶對(duì)數(shù)據(jù)處理時(shí)效性的需求。

多樣化(variety):處理的數(shù)據(jù)類型不再局限于結(jié)構(gòu)化數(shù)據(jù),能同時(shí)處理文本數(shù)據(jù)、圖數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)。

價(jià)值提升(value):充分利用數(shù)據(jù),用于多種數(shù)據(jù)模型的分析,提升數(shù)據(jù)價(jià)值。

3.統(tǒng)一的數(shù)據(jù)處理平臺(tái)幾大的優(yōu)勢(shì)

多模型的數(shù)據(jù)處理平臺(tái)的核心是對(duì)外提供統(tǒng)一的SQL編程接口、統(tǒng)一的計(jì)算引擎,以及統(tǒng)一的綜合式的存儲(chǔ)管理系統(tǒng)和統(tǒng)一的銷售框架。因此,星環(huán)TDH 7.0的優(yōu)勢(shì)優(yōu)勢(shì)體現(xiàn)在這幾大特性的統(tǒng)一和融合上。

Transwarp Data Hub 7.0統(tǒng)一的數(shù)據(jù)處理平臺(tái)支持超過7種不同的數(shù)據(jù)模型,支持結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),支持KeyValue介質(zhì)存儲(chǔ)、全行搜索、排索引、圖存儲(chǔ)、圖數(shù)據(jù)庫(kù)、存儲(chǔ)文檔,也能夠存儲(chǔ)時(shí)空數(shù)據(jù)。這是TDH 7.0的第一大優(yōu)勢(shì)。

星環(huán)科技第一家提供了一個(gè)能夠橫跨多種數(shù)據(jù)模型的統(tǒng)一的計(jì)算引擎。雖然有不少公司也在嘗試提供一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)接口,但是由于底層是不同的數(shù)據(jù)庫(kù),沒用統(tǒng)一的計(jì)算引擎,雖然有統(tǒng)一的SQL接口,但是很難把不同的接口靜態(tài)的路由到功能數(shù)據(jù)庫(kù)上面去。因此,需要一個(gè)動(dòng)態(tài)的計(jì)算引擎來(lái)動(dòng)態(tài)地進(jìn)行接口的調(diào)度,進(jìn)行執(zhí)行計(jì)劃的統(tǒng)一的管理。

同時(shí)在星環(huán)科技的Transwarp Data Hub 7.0中也提出了一個(gè)統(tǒng)一的分布式管理系統(tǒng),是實(shí)現(xiàn)數(shù)據(jù)分布管理以及數(shù)據(jù)一致性的數(shù)據(jù)管理系統(tǒng),比過往使用HTVS效率更高、一致性更強(qiáng)。

在同一個(gè)平臺(tái)上可以將一份數(shù)據(jù)存儲(chǔ)成多種模型,用戶在應(yīng)用發(fā)生變化時(shí)能夠自行地采用最佳的倉(cāng)儲(chǔ)模型來(lái)響應(yīng)查詢需求,運(yùn)行效率會(huì)更高。同時(shí)因?yàn)橐粋€(gè)平臺(tái)處理多種數(shù)據(jù)模型,整運(yùn)維成本、管理成本都會(huì)降低。

孫元浩說,未來(lái)的數(shù)據(jù)平臺(tái)都應(yīng)該是多模型的,但是用戶使用起來(lái)更應(yīng)該是像使用一個(gè)數(shù)據(jù)庫(kù)一樣使用。

從2013年開始,星環(huán)科技逐漸實(shí)現(xiàn)了從基于開源改造的產(chǎn)品組件到自主研發(fā)轉(zhuǎn)變。

到2020年5月的Transwarp Data Hub 7.0問世時(shí),星環(huán)科技已經(jīng)實(shí)現(xiàn)了絕大部分組件自主研發(fā),包括分析型數(shù)據(jù)庫(kù)、流處理引擎、圖數(shù)據(jù)庫(kù)等。今年新推出的搜索引擎中采用了新的復(fù)本的一次性算法,對(duì)外提供標(biāo)準(zhǔn)的SQL接口。預(yù)計(jì)到2021年,會(huì)完成NoSQL數(shù)據(jù)庫(kù)全系列改造,并融入分布式的存儲(chǔ)管理系統(tǒng)。

孫元浩說,到2021年,星環(huán)科技的全系列產(chǎn)品都將實(shí)現(xiàn)自主研發(fā)。

  • 分類目錄
  • 軟文發(fā)布平臺(tái)
  • 勞務(wù)外包公司
  • 帆布水池
  • 運(yùn)維開發(fā)網(wǎng)
  • 小程序開發(fā)
  • 淘寶優(yōu)惠券
  • IT新聞
  • 淘寶erp
  • 植物提取物網(wǎng)
  • 站長(zhǎng)網(wǎng)
  • 源碼論壇
  • 激光打標(biāo)機(jī)
  • 丹泊儀器
  • 礦山生態(tài)修復(fù)
  • 青島月子會(huì)所
  • 知識(shí)付費(fèi)
  • 辦公家具
  • 呱呱贊小程序
  • 淄博java培訓(xùn)
  • 小程序開發(fā)
  • seo外包公司
  • 盈江新財(cái)網(wǎng)
  • 工程拍照軟件
  • 速賣通論壇
  • 極客網(wǎng)
  • 甘州文化網(wǎng)
  • 優(yōu)鞋論壇
  • 寧波小程序開發(fā)
  • 域名論壇
  • 微軟crm
  • andon系統(tǒng)
  • 鄭州網(wǎng)站建設(shè)
  • seo學(xué)習(xí)網(wǎng)
  • 奢侈品回收
  • 一對(duì)一輔導(dǎo)
  • 黑客視野新聞