企業(yè)發(fā)布
首頁 > 企業(yè)發(fā)布 > 詳細(xì)內(nèi)容
億級影像并發(fā)處理這道考題 浪潮存儲如何作答
2021/8/6 14:19:41 來源:中國企業(yè)新聞網(wǎng)
導(dǎo)言:瀝青被太陽照過后會變硬,而沒有變硬的部分,可以用一些特殊的溶劑,把它給溶解掉。觀察到這一現(xiàn)象的法國人約瑟夫·涅普斯開始思考,“我能不能用同樣的方法來試試看,能不能把現(xiàn)實(shí)世界當(dāng)中的景色給放進(jìn)版畫里?”他想到后,就去做了。
瀝青被太陽照過后會變硬,而沒有變硬的部分,可以用一些特殊的溶劑,把它給溶解掉。觀察到這一現(xiàn)象的法國人約瑟夫·涅普斯開始思考,“我能不能用同樣的方法來試試看,能不能把現(xiàn)實(shí)世界當(dāng)中的景色給放進(jìn)版畫里?”他想到后,就去做了。
涅普斯不會想到,他在1826年用瀝青曬干“鼓搗”出來的人類歷史上第一張照片,會在無意間開啟了人類通往影像世界的大門。
經(jīng)歷近兩個世紀(jì)蝶變,影像技術(shù)與數(shù)字技術(shù)不斷融合,數(shù)字影像占據(jù)了行業(yè)主導(dǎo)。特別是隨著大數(shù)據(jù)和深度學(xué)習(xí)等新技術(shù)加持,影像大數(shù)據(jù)產(chǎn)業(yè)發(fā)展不斷提速,IDC研究表明,未來行業(yè)80%的行業(yè)數(shù)據(jù)將以照片、音頻、視頻等非結(jié)構(gòu)化影像數(shù)據(jù)方式呈現(xiàn)。海量影像數(shù)據(jù)的“存”和“用”就像賽車兩個驅(qū)動輪,影響著各個行業(yè)在數(shù)字賽道上飛馳的速度。作為新存儲首倡者和引領(lǐng)者,浪潮存儲憑借五年五次霸榜的極致“造車”技術(shù),持續(xù)為行業(yè)影像大數(shù)據(jù)處理提速!
浪潮分布式存儲性能全球第一
行業(yè)影像數(shù)據(jù)大爆發(fā) 如何才能“接得住、存得快”
隨著行業(yè)數(shù)字化轉(zhuǎn)型不斷深入,企業(yè)數(shù)據(jù)資產(chǎn)從關(guān)鍵業(yè)務(wù)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)為主逐漸演變?yōu)榉墙Y(jié)構(gòu)化影像數(shù)據(jù)為主,同時企業(yè)IT業(yè)務(wù)重心從數(shù)據(jù)管理變?yōu)閿?shù)據(jù)運(yùn)營。如何提升數(shù)據(jù)存儲性能,快速從巨量影像數(shù)據(jù)中獲取數(shù)據(jù)價值,成為企業(yè)提升競爭力的關(guān)鍵。
以金融行業(yè)為例,在Bank4.0趨勢下隨著銀行網(wǎng)點(diǎn)向營銷型、體驗(yàn)型智慧網(wǎng)點(diǎn)轉(zhuǎn)變,各大銀行正全面推進(jìn)無紙化辦公,票據(jù)、單證、電子驗(yàn)印、影像審批等業(yè)務(wù)處理過程漸趨電子化,帶來了影像數(shù)據(jù)實(shí)時存儲和處理的需求井噴式增長。
浪潮存儲方案架構(gòu)師Howar表示,“金融影像大數(shù)據(jù)就像螞蟻軍團(tuán),特點(diǎn)是‘個頭小’、‘?dāng)?shù)量多’,海量金融影像并發(fā)處理是典型的性能密集型場景”。Howar給算了筆賬,票據(jù)影像經(jīng)過壓縮后,每個影像大小約在在幾十K至幾百K之間,多見的是100K左右的影像,但影像規(guī)模極為龐大,依據(jù)銀行規(guī)模與業(yè)務(wù)上線時間不同,單套存儲系統(tǒng)需要處理的影像規(guī)模達(dá)到數(shù)千萬至數(shù)億份。同時隨著金融監(jiān)管要求日趨嚴(yán)格,大量錄音、錄像、圖片也需要實(shí)時保存并高效訪問。
不僅金融如此,在通信、能源、交通、媒資、科研、醫(yī)療等諸多行業(yè),也同樣面臨影像大數(shù)據(jù)處理的挑戰(zhàn),這個行業(yè)用戶的共性需求可以稱之為“性能現(xiàn)象級”。其中在通信行業(yè),隨著14億人將衣食住行搬上網(wǎng)絡(luò),移動互聯(lián)網(wǎng)2020年數(shù)據(jù)流量高達(dá)1656億GB;在互聯(lián)網(wǎng)行業(yè),快手每天產(chǎn)生1.2億個內(nèi)容標(biāo)簽與用戶畫像實(shí)時匹配,內(nèi)容精準(zhǔn)推送背后是海量數(shù)據(jù)關(guān)聯(lián)碰撞的結(jié)果;在交通領(lǐng)域,網(wǎng)紅城市成都有超6000路交通視頻流實(shí)時匯入,每天需要處理1億張圖片、10次搜索。這些實(shí)時數(shù)據(jù)如同長江大河源源不斷、晝夜不息地注入后端數(shù)據(jù)基礎(chǔ)設(shè)施,如何“接得住、存得快、用得快”成為數(shù)據(jù)存儲面對的挑戰(zhàn)。
智慧交通產(chǎn)生海量實(shí)時數(shù)據(jù)
一道“性能”考題 引出三種范式
雖然大部分行業(yè)都面臨大數(shù)據(jù)處理挑戰(zhàn),但不同行業(yè)、不同業(yè)務(wù)、不同數(shù)據(jù)生命周期的性能需求存在三種范式:以媒資4K/8K、腦成像研究等應(yīng)用場景為代表,數(shù)據(jù)處理屬于“帶寬密集型”范式;以金融影像應(yīng)用場景為代表,影像數(shù)據(jù)以海量小數(shù)據(jù)為主,屬于“IO密集型”范式。最后是混合型,在智慧交通、能源勘探等場景,在前期數(shù)據(jù)采集階段,海量數(shù)據(jù)流實(shí)時匯入給存儲帶寬提出了挑戰(zhàn),到了后期人工智能分析階段,企業(yè)需要處理十億級乃至百億級小文件,需要極致IO能力來支撐。
Howar告訴我們,浪潮分布式存儲能夠以一套存儲滿足上述三種性能范式需求。浪潮存儲開發(fā)了業(yè)界首個“塊、文件、對象、大數(shù)據(jù)多合一”極簡架構(gòu)和iTurbo智能加速引擎,此存儲系統(tǒng)能夠統(tǒng)籌管理數(shù)千個節(jié)點(diǎn),實(shí)現(xiàn)性能線性擴(kuò)展。
浪潮存儲
在帶寬密集型應(yīng)用中,浪潮存儲通過聚合帶寬技術(shù),能夠支撐數(shù)據(jù)流高速吞吐,確保海量影像洪流“接得住、存得快”。同時,浪潮存儲還能進(jìn)行場景化定制,比如在石油勘探場景,浪潮存儲通過對去躁、振幅補(bǔ)償?shù)榷囗?xiàng)作業(yè)的優(yōu)化配置,提升了石油勘探批量作業(yè)的處理能力,增強(qiáng)了易用性,確保系統(tǒng)高速穩(wěn)定運(yùn)行。
在IO密集型場景,面對億級影像小文件并發(fā)處理的挑戰(zhàn),傳統(tǒng)集中式NAS存儲有些力不從心。NAS文件系統(tǒng)架構(gòu)采用樹形目錄結(jié)構(gòu),遍歷影像文件需要極大的資源消耗,當(dāng)影像文件達(dá)到上億級別時,就會出現(xiàn)性能嚴(yán)重下降的問題。對此,浪潮分布式存儲一套存儲支持文件、對象等多種數(shù)據(jù)類型的優(yōu)勢就顯示出來了:當(dāng)用戶影像業(yè)務(wù)規(guī)模較小時,可以采用文件存儲方式,這種方式比較常見,占到中國分布式存儲約50%的市場份額,企業(yè)大部分運(yùn)維人員都能輕松上手;隨著業(yè)務(wù)成長,一旦影像規(guī)模達(dá)到億級,可以采用對象方式進(jìn)行扁平化管理。在對象存儲模式下,每個桶和對象都有一個全局唯一的ID,根據(jù)ID可快速實(shí)現(xiàn)對象的查找和數(shù)據(jù)的訪問,性能大幅提升!
影像大數(shù)據(jù)場景解決方案
浪潮存儲的極簡架構(gòu)做得比較人性化,用戶可以根據(jù)業(yè)務(wù)需求,在多種數(shù)據(jù)服務(wù)之間進(jìn)行資源切換,Howar表示。這項(xiàng)功能就好比浪潮存儲是一個工廠,用戶今天想開轎車就按轎車尺寸裝,過段時間想開SUV就把轎車拆了進(jìn)行改裝,雖然在物理世界這個實(shí)現(xiàn)起來很有挑戰(zhàn),但在數(shù)字世界還是被浪潮存儲實(shí)現(xiàn)了。
不僅如此,浪潮存儲還針對性能開發(fā)了iTurbo智能加速引擎,通過智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等創(chuàng)新技術(shù),與自研NVMe SSD閃存盤進(jìn)行系統(tǒng)級別聯(lián)調(diào)優(yōu)化,讓百萬級IO均衡落盤且路徑更短,將存儲系統(tǒng)性能發(fā)揮到極致,有效地提升了從海量影像中“大海撈針”的效率。
五年五次飆榜 浪潮存儲將性能優(yōu)勢轉(zhuǎn)化為市場競爭力
基于對行業(yè)“性能現(xiàn)象級”的洞察和存儲技術(shù)持續(xù)打磨,浪潮存儲實(shí)現(xiàn)五年五次性能飆榜。早在2017年浪潮存儲以超150萬IOPS創(chuàng)下了8控存儲的業(yè)界最高成績,時隔3年浪潮存儲以5倍的性能再獲16控、8控、單位成本性能三項(xiàng)冠軍。今年浪潮存儲在分布式存儲領(lǐng)域再次突破,實(shí)現(xiàn)五年五次霸榜,成為全球唯一一家在分布式存儲和集中式全閃存儲兩大賽道領(lǐng)跑的存儲廠商。
性能賽道的強(qiáng)大競爭優(yōu)勢,促使浪潮存儲市場競爭力獲得提升,當(dāng)前浪潮存儲已經(jīng)進(jìn)階全球前五,成為全球增長最為強(qiáng)勁的存儲廠商。在影像大數(shù)據(jù)處理領(lǐng)域,浪潮存儲已經(jīng)在中國天眼天文大數(shù)據(jù)、清華大學(xué)頂級腦成像研究、中石油三維勘探、中國人壽內(nèi)容管理等數(shù)百個行業(yè)新應(yīng)用中規(guī);渴。未來伴隨云、大數(shù)據(jù)、人工智能等新技術(shù)發(fā)展智算中心將迎來高速發(fā)展,浪潮存儲將持續(xù)賦能行業(yè)用戶,釋放數(shù)據(jù)價值加速數(shù)字化轉(zhuǎn)型。
免責(zé)聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請?jiān)?0日內(nèi)進(jìn)行。
※ 有關(guān)作品版權(quán)事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
24小時熱點(diǎn)圖片
一周新聞資訊點(diǎn)擊排行
關(guān)于我們 | CENN服務(wù) | 對外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機(jī)版
客戶服務(wù)熱線:020-34333079、34333137 舉報電話:020-34333002 投稿郵箱:cenn_gd@126.com
版權(quán)所有:中國企業(yè)新聞網(wǎng) 運(yùn)營商:廣州至高點(diǎn)網(wǎng)絡(luò)科技投資有限公司 地址:廣州市海珠區(qū)江燕路353號保利紅棉48棟1004