企業(yè)發(fā)布
首頁 > 企業(yè)發(fā)布 > 詳細內(nèi)容
智能時代的存儲挑戰(zhàn)與機遇:浪潮信息的創(chuàng)新探索與實踐
2024/11/21 10:03:55 來源:中國企業(yè)新聞網(wǎng)
導言:11月21日, 隨著智能時代的全面到來,數(shù)據(jù)量呈現(xiàn)出爆炸性增長,這對存儲系統(tǒng)提出了前所未有的高標準要求。
11月21日, 隨著智能時代的全面到來,數(shù)據(jù)量呈現(xiàn)出爆炸性增長,這對存儲系統(tǒng)提出了前所未有的高標準要求。從早期的"百模大戰(zhàn)"演進至"千模大戰(zhàn)",現(xiàn)已邁入了一個以數(shù)據(jù)為核心的新時代,其中數(shù)據(jù)成為了算法與算力不可或缺的基礎支撐。
在近期舉行的2024中國數(shù)據(jù)與存儲峰會上,浪潮信息分布式存儲產(chǎn)品部總經(jīng)理姜樂果發(fā)表了題為《智能時代的數(shù)據(jù)存儲平臺》的主題演講。在演講中,姜樂果深刻剖析了智能時代背景下數(shù)據(jù)存儲所面臨的挑戰(zhàn)及浪潮信息為應對這些挑戰(zhàn)所做出的不懈努力與創(chuàng)新實踐。
智能時代下的數(shù)據(jù)存儲需求
無論是金融領域的風險精準識別、智慧交通中的自動駕駛技術、制造業(yè)中的精密質量檢測,還是科研領域的高效計算探索,都深深依賴于海量數(shù)據(jù)的強大支持。然而,數(shù)據(jù)的迅猛增長也給存儲系統(tǒng)帶來了諸多前所未有的嚴峻挑戰(zhàn),這些挑戰(zhàn)涵蓋了更高的性能需求、更靈活的擴展能力,以及更智能化的管理機制等多個方面。
在人工智能時代,數(shù)據(jù)作為最為關鍵的載體,其計算過程中的存儲環(huán)節(jié)面臨著性能、效率和韌性這三大核心挑戰(zhàn)。
姜樂果在演講中著重指出,數(shù)據(jù)存儲的性能已經(jīng)成為制約眾多應用場景進一步發(fā)展的關鍵因素之一。相較于以往,大模型的訓練對存儲性能的需求已經(jīng)躍升了多個數(shù)量級。在傳統(tǒng)時代,存儲性能往往停留在百GB級的水平,而到了大模型訓練的時代,這一需求已經(jīng)激增到TB級。這意味著,如果沒有足夠快速的存儲設備作為支撐,數(shù)據(jù)的讀寫時間將會大幅度延長,進而導致GPU等昂貴且寶貴的計算資源處于閑置狀態(tài),造成資源的極大浪費。
除了性能之外,數(shù)據(jù)存儲的效率也是至關重要的。在當今這個數(shù)據(jù)多源異構的時代,數(shù)據(jù)來源于網(wǎng)絡、云端以及政府機構等多個渠道,如何迅速有效地對這些數(shù)據(jù)進行清洗、整合,并最終形成有價值的數(shù)據(jù)資源,成為了一個亟待解決的難題。
此外,從國家政策的角度來看,數(shù)據(jù)要素已經(jīng)被正式納入資產(chǎn)負債表,成為了企業(yè)資產(chǎn)中不可或缺的一部分。這一舉措不僅彰顯了數(shù)據(jù)的巨大價值,同時也對存儲系統(tǒng)的安全性與可靠性提出了更為嚴格的要求,以確保數(shù)據(jù)的完整性和保密性。
浪潮信息的創(chuàng)新探索與實踐
面對智能時代的種種挑戰(zhàn),浪潮信息已經(jīng)形成了清晰的存儲平臺構建策略。
在產(chǎn)品布局上,浪潮信息針對大模型訓練推出了軟件定義存儲,它融合了塊、文件、對象和大數(shù)據(jù)等多種存儲類型,注重提供極致的性能和容量,并能夠同時管理上層業(yè)務應用和第三方存儲資源。而對于推理場景,浪潮信息則推出了陣列存儲,利用傳統(tǒng)盤陣的微秒級延時優(yōu)勢,能夠迅速響應如人工智能駕駛等高要求場景的需求。此外,浪潮信息還自主研發(fā)了SSD,通過打通IO路徑,進一步提升了存儲效率。
為了提升性能,浪潮信息采用了端到端的優(yōu)化策略。結合SSD和技術架構的演進,通過智能運行、緩存和自解鎖等技術,對軟件架構進行了重構。這使得小文件性能提升了5倍以上,大文件性能提升了10倍。在訓練過程中,CheckPoint操作實現(xiàn)了秒級讀寫,TB級帶寬的案例有效減少了GPU時延的浪費,從而提升了訓練效率。
在智能空間管理方面,浪潮信息去除了本地文件系統(tǒng),直接管理裸盤,并預分配空間和權限到計算節(jié)點。這種方式減少了原數(shù)據(jù)的訪問,使得空間利用率達到了95%以上,同時性能沒有衰減,進一步縮短了大模型訓練的時間。
融合存儲優(yōu)化管理:浪潮信息軟件定義存儲從2016年自研至今不斷發(fā)展,通過和客戶業(yè)務深度結合的方式,推動產(chǎn)品從文件、對象融合逐步向四合一、五合一邁進。到目前,存儲對內(nèi)可以實現(xiàn)多協(xié)議互訪互通、語義無損,同時只需要保存一份數(shù)據(jù)供多種協(xié)議訪問;存儲對外可通過全局文件系統(tǒng)支持數(shù)據(jù)跨介質、跨終端、跨域流動,實現(xiàn)一套存儲管理所有平臺,優(yōu)化存儲效率。
安全可靠保障業(yè)務:數(shù)據(jù)資產(chǎn)入表對安全性和可靠性要求高,浪潮信息在風險防控上檢測率高、誤報漏報率低,達到萬分之2.9。利用AIOps功能預測性能、容量趨勢和故障盤,提前預警處理,減少盤體故障導致的存儲宕機。
在全球存儲市場中,浪潮信息存儲裝機容量位居前三,企業(yè)存儲業(yè)務在中國位居第二,全閃存儲銷售額同樣在中國市場占據(jù)領先地位。隨著大數(shù)據(jù)、云計算、人工智能等技術的快速發(fā)展,數(shù)據(jù)存儲需求日益多樣化且復雜化;诖耍顺毙畔{借深厚的技術研發(fā)底蘊,積極推動場景共同體建設,與合作伙伴共同探索解決方案、定制產(chǎn)品,并協(xié)同拓展市場,共同推動存儲領域的進步。展望未來,浪潮信息將不斷致力于提供更加優(yōu)質、高效、安全的存儲解決方案,以應對市場對高效、可靠存儲的迫切需求,為各行各業(yè)的數(shù)字化轉型和智能化升級提供堅實支撐。
免責聲明:
※ 以上所展示的信息來自媒體轉載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內(nèi)容。如果以上內(nèi)容侵犯您的版權或者非授權發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請在30日內(nèi)進行。
※ 有關作品版權事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時內(nèi)審核并處理。
標簽 :
相關網(wǎng)文
一周新聞資訊點擊排行
客戶服務熱線:020-34333079、34333137 舉報電話:020-34333002 投稿郵箱:cenn_gd@126.com
版權所有:企業(yè)網(wǎng)訊 運營商:廣州至高點網(wǎng)絡科技投資有限公司 地址:廣州市海珠區(qū)江燕路353號保利紅棉48棟1004