企業(yè)發(fā)布
首頁(yè) > 企業(yè)發(fā)布 > 詳細(xì)內(nèi)容
浪潮存儲(chǔ)基于智能運(yùn)維技術(shù) 加速存儲(chǔ)自治
2021/11/12 9:52:10 來(lái)源:中國(guó)企業(yè)新聞網(wǎng)
導(dǎo)言:隨著新基建逐步發(fā)展落地,現(xiàn)代數(shù)據(jù)中心迅速崛起,數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng),同時(shí)各種新存儲(chǔ)介質(zhì)和技術(shù)的應(yīng)用,使得存儲(chǔ)系統(tǒng)變得越來(lái)越復(fù)雜。在運(yùn)維管理上,完全依賴(lài)人工已經(jīng)不能滿(mǎn)足需求,企業(yè)將更多依靠人工智能進(jìn)行自動(dòng)化運(yùn)維,Gartner認(rèn)為AIOps的廣泛應(yīng)用將讓IT基礎(chǔ)設(shè)施管理變得更主動(dòng)、更具預(yù)測(cè)性,減少管理和停機(jī)成本。
隨著新基建逐步發(fā)展落地,現(xiàn)代數(shù)據(jù)中心迅速崛起,數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng),同時(shí)各種新存儲(chǔ)介質(zhì)和技術(shù)的應(yīng)用,使得存儲(chǔ)系統(tǒng)變得越來(lái)越復(fù)雜。在運(yùn)維管理上,完全依賴(lài)人工已經(jīng)不能滿(mǎn)足需求,企業(yè)將更多依靠人工智能進(jìn)行自動(dòng)化運(yùn)維,Gartner認(rèn)為AIOps的廣泛應(yīng)用將讓IT基礎(chǔ)設(shè)施管理變得更主動(dòng)、更具預(yù)測(cè)性,減少管理和停機(jī)成本。
存儲(chǔ)智能管理就是通過(guò)AI技術(shù)實(shí)現(xiàn)存儲(chǔ)自治,即自我管理、自我修復(fù)、自我調(diào)優(yōu),提高存儲(chǔ)系統(tǒng)的性能、穩(wěn)定性和易用性,降低存儲(chǔ)使用的復(fù)雜性,簡(jiǎn)化運(yùn)維,使存儲(chǔ)設(shè)備永遠(yuǎn)保持在最優(yōu)運(yùn)行狀態(tài),加速數(shù)據(jù)在線(xiàn)。
近幾年,浪潮一直在致力于該方向研發(fā)和探索新特性,目前推出了智能管理軟件InView,包含了4個(gè)預(yù)測(cè)和2個(gè)自動(dòng)化智能運(yùn)維功能特性。四個(gè)預(yù)測(cè)分別為包括提前兩周識(shí)別風(fēng)險(xiǎn)磁盤(pán),降低數(shù)據(jù)丟失風(fēng)險(xiǎn);智能預(yù)測(cè)性能增長(zhǎng)需求,預(yù)知性能瓶頸;智能預(yù)測(cè)容量增長(zhǎng)需求,給用戶(hù)提供科學(xué)、準(zhǔn)確的擴(kuò)容建議;預(yù)測(cè)SSD使用壽命,精準(zhǔn)到天。兩個(gè)自動(dòng)化分別為性能瓶頸分析,通過(guò)端到端診斷分析,快速發(fā)現(xiàn)存儲(chǔ)性能瓶頸狀態(tài),并能定位根因;性能自動(dòng)調(diào)優(yōu),結(jié)合應(yīng)用場(chǎng)景和用戶(hù)IO模型,自動(dòng)挖掘最優(yōu)的客戶(hù)端配置和存儲(chǔ)端配置,并主動(dòng)推薦配置給需要的存儲(chǔ)系統(tǒng)和用戶(hù)。
為什么需要性能自動(dòng)調(diào)優(yōu)?
目前的存儲(chǔ)系統(tǒng)中具有大量的可調(diào)參數(shù),以浪潮分布式存儲(chǔ)系統(tǒng)AS13000為例,系統(tǒng)軟硬組件多,內(nèi)、外部參數(shù)多達(dá)兩千多個(gè),且90%的參數(shù)為數(shù)值型和布爾型,參數(shù)的可調(diào)范圍非常大,修改這些參數(shù)往往會(huì)對(duì)系統(tǒng)性能產(chǎn)生不同的影響。通常默認(rèn)的參數(shù)配置由供應(yīng)商提供,這些參數(shù)值的組合一般都不是最優(yōu)的參數(shù)集合。研究表明,即使調(diào)整一小部分的參數(shù)值,也可以將系統(tǒng)的能耗和性能效率提高數(shù)倍以上。
傳統(tǒng)的參數(shù)調(diào)整是由系統(tǒng)管理員依據(jù)自身的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)完成的,由于存儲(chǔ)系統(tǒng)的復(fù)雜性不斷提升,手動(dòng)調(diào)參將較難適應(yīng)大規(guī)模的存儲(chǔ)系統(tǒng),并且人工調(diào)參具有無(wú)法全天候的監(jiān)控以及高額的人力成本等問(wèn)題。如何結(jié)合具體應(yīng)用場(chǎng)景,在存儲(chǔ)默認(rèn)配置和性能數(shù)據(jù)基礎(chǔ)上,自動(dòng)挖掘最優(yōu)的存儲(chǔ)配置,并主動(dòng)推薦配置給需要的存儲(chǔ)系統(tǒng),對(duì)存儲(chǔ)系統(tǒng)的性能優(yōu)化具有重要意義!
浪潮分布式存儲(chǔ)參數(shù)分布
浪潮存儲(chǔ):基于InView性能自動(dòng)調(diào)優(yōu)技術(shù),將帶寬提升41%、時(shí)延降低29%
在自動(dòng)調(diào)優(yōu)中,強(qiáng)化學(xué)習(xí)是一個(gè)非常好的解決方案,強(qiáng)化學(xué)習(xí)(RL)是機(jī)器學(xué)習(xí)的一個(gè)分支,涉及代理(agent)如何在當(dāng)前環(huán)境下采取行動(dòng)(action)以最大程度地獲得回報(bào)(reward)。與監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)不同,強(qiáng)化學(xué)習(xí)通過(guò)試錯(cuò)機(jī)制,與環(huán)境進(jìn)行互動(dòng)并獲得獎(jiǎng)勵(lì),從獎(jiǎng)勵(lì)中進(jìn)行學(xué)習(xí)。
強(qiáng)化學(xué)習(xí)工作原理
關(guān)鍵算法采用的是2016年谷歌DeepMind提出的DDPG算法,算法包含Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò),其中Actor網(wǎng)絡(luò)可根據(jù)環(huán)境當(dāng)前運(yùn)行狀態(tài)輸出連續(xù)動(dòng)作,Critic網(wǎng)絡(luò)可對(duì)當(dāng)前環(huán)境運(yùn)行狀態(tài)和實(shí)施的動(dòng)作進(jìn)行評(píng)估打分,兩者相結(jié)合,適用于高維連續(xù)動(dòng)作場(chǎng)景。這是首次使用強(qiáng)化學(xué)習(xí)方法學(xué)習(xí)和推薦存儲(chǔ)系統(tǒng)參數(shù)!
性能自動(dòng)調(diào)優(yōu)整體架構(gòu)
浪潮智能管理軟件InView強(qiáng)化學(xué)習(xí)進(jìn)行存儲(chǔ)系統(tǒng)參數(shù)調(diào)優(yōu)整體包含三個(gè)模塊,分別是用戶(hù)的應(yīng)用、分布式存儲(chǔ)系統(tǒng)AS13000以及調(diào)優(yōu)模塊。其中,參數(shù)推薦引擎可根據(jù)浪潮分布式存儲(chǔ)AS13000的當(dāng)前狀態(tài)生成最佳配置,負(fù)責(zé)將最佳配置動(dòng)態(tài)下發(fā)給AS13000,AS13000負(fù)責(zé)響應(yīng)客戶(hù)端的IO讀寫(xiě)請(qǐng)求,性能指標(biāo)采集器負(fù)責(zé)采集AS13000在新配置下的狀態(tài)信息并計(jì)算在新配置下的性能提升效果,深度學(xué)習(xí)引擎根據(jù)AS13000的反饋迭代更新Actor和Critic網(wǎng)絡(luò)。該過(guò)程迭代直到模型收斂,最終將找到最合適的參數(shù)設(shè)置。
浪潮InView性能自動(dòng)調(diào)優(yōu)系統(tǒng)具備端到端參數(shù)自動(dòng)調(diào)整、提升網(wǎng)絡(luò)帶寬同時(shí)降低網(wǎng)絡(luò)時(shí)延、參數(shù)的調(diào)整不影響集群正常運(yùn)行三大特點(diǎn),具體實(shí)驗(yàn)效果如下:橙色框中的前360步,模型隨機(jī)探索學(xué)習(xí),紅色框?yàn)?60步之后,模型自動(dòng)推薦參數(shù),相比默認(rèn)配置(黑色框中的點(diǎn)),平均帶寬提升41%,時(shí)延降低29%,調(diào)優(yōu)效果與性能專(zhuān)項(xiàng)組專(zhuān)家經(jīng)驗(yàn)相當(dāng)!
自動(dòng)調(diào)優(yōu)與默認(rèn)配置效果對(duì)比
隨著云、大數(shù)據(jù)、人工智能、區(qū)塊鏈、5G等新技術(shù)與實(shí)體經(jīng)濟(jì)將加速融合,中國(guó)存儲(chǔ)市場(chǎng)未來(lái)5年復(fù)合增長(zhǎng)率將達(dá)到8%,其中全閃存儲(chǔ)和分布式存儲(chǔ)將持續(xù)高速增長(zhǎng)。浪潮存儲(chǔ)基于“云存智用 運(yùn)籌新數(shù)據(jù)”的理念,將在包括分布式和集中式存儲(chǔ)的平臺(tái)及智能管理軟件領(lǐng)域持續(xù)加大投入與創(chuàng)新,釋放數(shù)據(jù)價(jià)值加速企業(yè)數(shù)字化轉(zhuǎn)型。
免責(zé)聲明:
※ 以上所展示的信息來(lái)自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本網(wǎng)站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問(wèn)題需要同本網(wǎng)聯(lián)系的,請(qǐng)?jiān)?0日內(nèi)進(jìn)行。
※ 有關(guān)作品版權(quán)事宜請(qǐng)聯(lián)系中國(guó)企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時(shí)內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
24小時(shí)熱點(diǎn)圖片
一周新聞資訊點(diǎn)擊排行
關(guān)于我們 | CENN服務(wù) | 對(duì)外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機(jī)版
客戶(hù)服務(wù)熱線(xiàn):020-34333079、34333137 舉報(bào)電話(huà):020-34333002 投稿郵箱:cenn_gd@126.com
版權(quán)所有:中國(guó)企業(yè)新聞網(wǎng) 運(yùn)營(yíng)商:廣州至高點(diǎn)網(wǎng)絡(luò)科技投資有限公司 地址:廣州市海珠區(qū)江燕路353號(hào)保利紅棉48棟1004