企業(yè)發(fā)布
首頁 > 企業(yè)發(fā)布 > 詳細(xì)內(nèi)容
浪潮分布式存儲(chǔ):讓數(shù)據(jù)融合互通,為"云數(shù)智"應(yīng)用構(gòu)筑新平臺(tái)
2023/2/2 16:57:00 來源:中國企業(yè)新聞網(wǎng)
導(dǎo)言:數(shù)字經(jīng)濟(jì)時(shí)代,云計(jì)算、大數(shù)據(jù)、人工智能等新技術(shù)快速發(fā)展,非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式增長,數(shù)據(jù)類型變得愈發(fā)復(fù)雜多樣。
數(shù)字時(shí)代,數(shù)據(jù)共享互通成為剛需
數(shù)字經(jīng)濟(jì)時(shí)代,云計(jì)算、大數(shù)據(jù)、人工智能等新技術(shù)快速發(fā)展,非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式增長,數(shù)據(jù)類型變得愈發(fā)復(fù)雜多樣。在自動(dòng)駕駛、基因測序、氣象預(yù)報(bào)等云數(shù)智應(yīng)用場景中,一次數(shù)據(jù)處理可能會(huì)涉及到文件、對象、大數(shù)據(jù)等多種協(xié)議,數(shù)據(jù)間的互通轉(zhuǎn)換成為數(shù)據(jù)存儲(chǔ)中至關(guān)重要的一環(huán),具備平臺(tái)化能力的融合存儲(chǔ)成為數(shù)字基礎(chǔ)設(shè)施建設(shè)的核心。
以基因測序場景為例,一次完整的基因測序涉及到數(shù)據(jù)采集、格式化、脫敏、壓縮、分析、發(fā)布等操作,其過程可以大致分為樣本采集、DNA/RNA測序、數(shù)據(jù)分析和發(fā)布四個(gè)步驟。在不同的處理階段,需要使用不同的數(shù)據(jù)協(xié)議進(jìn)行操作。其中在樣本采集和DNA/RNA測序階段采用NFS文件協(xié)議,數(shù)據(jù)分析階段采用HDFS大數(shù)據(jù)協(xié)議,數(shù)據(jù)發(fā)布階段則是通過公網(wǎng)數(shù)據(jù)共享采用S3對象協(xié)議。整個(gè)數(shù)據(jù)處理過程涉及三種協(xié)議格式,這就意味著完成一次基因的測序流程需要在NFS、HDFS和S3之間進(jìn)行兩次數(shù)據(jù)拷貝和數(shù)據(jù)格式的轉(zhuǎn)換。傳統(tǒng)存儲(chǔ)僅支持單一的訪問協(xié)議,這就會(huì)造成兩個(gè)問題:一是數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)拷貝會(huì)降低整個(gè)數(shù)據(jù)處理流程的效率;二是多套存儲(chǔ)副本增加存儲(chǔ)空間成本。
基因測序應(yīng)用需要使用多種數(shù)據(jù)協(xié)議
百川入海:浪潮基于一套存儲(chǔ) 承載多樣化數(shù)據(jù)
浪潮分布式存儲(chǔ)平臺(tái)AS13000基于對非結(jié)構(gòu)化數(shù)據(jù)協(xié)議(NFS/CIFS/HDFS/S3)融合互通的研究進(jìn)行技術(shù)創(chuàng)新,采用統(tǒng)一的數(shù)據(jù)管理和元數(shù)據(jù)管理、統(tǒng)一的增值特性服務(wù)、統(tǒng)一的分布式存儲(chǔ)資源池和統(tǒng)一的管理軟件系統(tǒng),保證各種協(xié)議共享同一份數(shù)據(jù)和元數(shù)據(jù)。訪問過程中無需數(shù)據(jù)轉(zhuǎn)換和拷貝,并且為每種協(xié)議提供原生語義服務(wù),每種服務(wù)均可直接訪問,無需安裝網(wǎng)關(guān)、插件或在計(jì)算側(cè)或應(yīng)用層進(jìn)行改造。
AS13000非結(jié)構(gòu)化數(shù)據(jù)融合架構(gòu)
基于"多合一"極簡架構(gòu),浪潮分布式存儲(chǔ)得以實(shí)現(xiàn)四個(gè)"統(tǒng)一"。
首先,提供統(tǒng)一的數(shù)據(jù)管理和元數(shù)據(jù)管理。
數(shù)據(jù)管理和元數(shù)據(jù)管理是非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的關(guān)鍵,浪潮分布式存儲(chǔ)平臺(tái)AS13000根據(jù)NFS、CIFS、HDFS和S3的語義和元數(shù)據(jù)特點(diǎn),抽象各協(xié)議的數(shù)據(jù)和元數(shù)據(jù)操作,通過一套統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)管理架構(gòu)有效地保證各協(xié)議的原生訪問。
其次,提供統(tǒng)一的增值特性服務(wù)。
基于統(tǒng)一的數(shù)據(jù)訪問接口和元數(shù)據(jù)管理的架構(gòu)設(shè)計(jì),浪潮AS13000對外提供統(tǒng)一的增值特性服務(wù),包括統(tǒng)一配額、QoS、加密、壓縮、快照、回收站、分級存儲(chǔ)、遠(yuǎn)程復(fù)制、元數(shù)據(jù)檢索等等。
以下圖為例:同一個(gè)元數(shù)據(jù)檢索服務(wù)ElasticSearch支持NFS、CIFS、S3、HDFS多種協(xié)議,并且各協(xié)議為同一配置入口和查詢?nèi)肟凇! ?
統(tǒng)一增值特性示例:元數(shù)據(jù)檢索服務(wù)
再次,構(gòu)建統(tǒng)一的分布式存儲(chǔ)資源池。
AS13000支持NFS/CIFS/HDFS/S3等多種服務(wù)協(xié)議共享非結(jié)構(gòu)化存儲(chǔ)資源池,并且同一個(gè)文件不同協(xié)議訪問的數(shù)據(jù)和元數(shù)據(jù)為同一份。例如,通過文件NFS協(xié)議寫入的一個(gè)文件,通過對象存儲(chǔ)AWS S3協(xié)議、大數(shù)據(jù)HDFS協(xié)議和文件CIFS協(xié)議均可讀取;每個(gè)節(jié)點(diǎn)都可以啟動(dòng)文件NAS、大數(shù)據(jù)HDFS和對象存儲(chǔ)S3服務(wù)。
最后,打造統(tǒng)一的管理系統(tǒng)。
管理軟件負(fù)責(zé)集群的安裝、部署、業(yè)務(wù)配置、設(shè)備管理、監(jiān)控、告警等功能。浪潮分布式存儲(chǔ)平臺(tái)AS13000打造了融合互通的管理系統(tǒng),可同時(shí)支持NFS/CIFS/HDFS/S3等多種服務(wù)協(xié)議,增值特性通過統(tǒng)一的配置入口對所有非結(jié)構(gòu)化存儲(chǔ)協(xié)議同時(shí)生效,減少了企業(yè)的管理成本。
浪潮分布式存儲(chǔ)平臺(tái)AS13000通過多年來的持續(xù)技術(shù)創(chuàng)新,以一份數(shù)據(jù)支持多種協(xié)議訪問,實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)融合互通,在提升數(shù)據(jù)處理效率的同時(shí)降低了存儲(chǔ)購置和運(yùn)維成本,保障各協(xié)議的語義無損和性能無損,構(gòu)筑了面向"云數(shù)智"應(yīng)用的融合存儲(chǔ)平臺(tái),助力企業(yè)數(shù)字化轉(zhuǎn)型,加速釋放數(shù)據(jù)價(jià)值。
免責(zé)聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請?jiān)?0日內(nèi)進(jìn)行。
※ 有關(guān)作品版權(quán)事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時(shí)內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
24小時(shí)熱點(diǎn)圖片
一周新聞資訊點(diǎn)擊排行
關(guān)于我們 | CENN服務(wù) | 對外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機(jī)版
客戶服務(wù)熱線:020-34333079、34333137 舉報(bào)電話:020-34333002 投稿郵箱:cenn_gd@126.com
版權(quán)所有:中國企業(yè)新聞網(wǎng) 運(yùn)營商:廣州至高點(diǎn)網(wǎng)絡(luò)科技投資有限公司 地址:廣州市海珠區(qū)江燕路353號(hào)保利紅棉48棟1004