企業(yè)發(fā)布
首頁 > 企業(yè)發(fā)布 > 詳細(xì)內(nèi)容
打破訓(xùn)練數(shù)據(jù)瓶頸,浪潮AIStation為AI開發(fā)“加油”
2020/7/14 8:40:00 來源:中國企業(yè)新聞網(wǎng)
導(dǎo)言:數(shù)據(jù)之于人工智能就如同燃油之于汽車。人工智能模型開發(fā)需要輸入海量訓(xùn)練數(shù)據(jù),單個(gè)樣本數(shù)據(jù)集大小即可達(dá)到上百GB,如果采用人工拷貝、搬運(yùn)數(shù)據(jù),不僅費(fèi)時(shí)費(fèi)力,而且存在數(shù)據(jù)沖突和數(shù)據(jù)安全風(fēng)險(xiǎn),在這種情況下,數(shù)據(jù)對于AI模型訓(xùn)練來說不是“加油”,而是成為模型開發(fā)的瓶頸,影響企業(yè)AI應(yīng)用效率
數(shù)據(jù)之于人工智能就如同燃油之于汽車。人工智能模型開發(fā)需要輸入海量訓(xùn)練數(shù)據(jù),單個(gè)樣本數(shù)據(jù)集大小即可達(dá)到上百GB,如果采用人工拷貝、搬運(yùn)數(shù)據(jù),不僅費(fèi)時(shí)費(fèi)力,而且存在數(shù)據(jù)沖突和數(shù)據(jù)安全風(fēng)險(xiǎn),在這種情況下,數(shù)據(jù)對于AI模型訓(xùn)練來說不是“加油”,而是成為模型開發(fā)的瓶頸,影響企業(yè)AI應(yīng)用效率。浪潮AIStation企業(yè)級人工智能開發(fā)平臺,可以一站式進(jìn)行AI模型開發(fā)和部署,在數(shù)據(jù)管理方面可實(shí)現(xiàn)集中管理,兼顧讀取速度與安全性,打破數(shù)據(jù)孤島和IO瓶頸,幫助用戶獲得200%-300%的開發(fā)效率提升!
浪潮AIStation集中管理數(shù)據(jù)
可視化&多種數(shù)據(jù)訪問方式 兼顧便捷與數(shù)據(jù)安全
AI開發(fā)涉及的數(shù)據(jù)包括樣本數(shù)據(jù)集、模型文件等,種類非常多,格式和特性各異。此外,AI開發(fā)需要企業(yè)內(nèi)各業(yè)務(wù)組的協(xié)同工作,必須有完善的數(shù)據(jù)管理機(jī)制保障數(shù)據(jù)的流通和共享,否則就會存在數(shù)據(jù)冗余、版本沖突、權(quán)限控制等方面的問題。
AIStation平臺內(nèi)置數(shù)據(jù)管理模塊,可無縫對接各類存儲系統(tǒng),提供可視化界面對數(shù)據(jù)進(jìn)行集中管理。開發(fā)人員可在數(shù)據(jù)管理界面快速上傳數(shù)據(jù),并通過目錄掛載的方式實(shí)時(shí)調(diào)取數(shù)據(jù),進(jìn)行數(shù)據(jù)預(yù)處理、模型開發(fā)、模型調(diào)試等工作。訓(xùn)練結(jié)束后,用戶可按需保存、上傳、共享模型文件!
浪潮人工智能開發(fā)平臺AIStation數(shù)據(jù)管理界面
AIStation提供了個(gè)人數(shù)據(jù)、組內(nèi)數(shù)據(jù)和公共數(shù)據(jù)三種數(shù)據(jù)訪問控制方式,滿足了企業(yè)內(nèi)部用戶數(shù)據(jù)隔離與共享的需求。并為每個(gè)用戶和部門創(chuàng)建了不同的命名空間,以及相應(yīng)的權(quán)限控制功能,讓開發(fā)人員能夠根據(jù)業(yè)務(wù)需求靈活共享數(shù)據(jù),并保障數(shù)據(jù)安全。
AIStation提供三種數(shù)據(jù)訪問方式
數(shù)據(jù)緩存加速,訓(xùn)練效率提升200%-300%
數(shù)據(jù)輸入輸出是影響模型訓(xùn)練周期的重要因素。即使GPU性能再強(qiáng),也需要高性能的輸入/輸出系統(tǒng)不斷的將數(shù)據(jù)傳送給GPU進(jìn)行運(yùn)算。輸入的樣本數(shù)據(jù)通常是小文件,并且在迭代過程中會隨機(jī)讀取樣本進(jìn)行訓(xùn)練,產(chǎn)生較高的隨機(jī)讀負(fù)載。而AI企業(yè)一般使用共享存儲或者分布式存儲管理數(shù)據(jù),計(jì)算節(jié)點(diǎn)通過網(wǎng)絡(luò)掛載的方式訪問存儲數(shù)據(jù),這樣即便使用萬兆網(wǎng)絡(luò)或者Infiniband網(wǎng)絡(luò),也有可能存在數(shù)據(jù)帶寬不能滿足GPU計(jì)算輸入的問題!
數(shù)據(jù)I/O成為計(jì)算瓶頸
AIStation綜合考慮AI計(jì)算對數(shù)據(jù)I/O的需求以及企業(yè)內(nèi)部的實(shí)際場景,通過數(shù)據(jù)緩存機(jī)制滿足高性能計(jì)算需求,可讓模型訓(xùn)練效率獲得200%-300%的提升,縮短模型開發(fā)周期。
AIStation可在各計(jì)算節(jié)點(diǎn)劃分?jǐn)?shù)據(jù)緩存區(qū)域,用來臨時(shí)存放用戶訓(xùn)練所需的樣本數(shù)據(jù),通過本地SSD盤的高速I/O降低數(shù)據(jù)讀寫延遲。此外,AIStation會根據(jù)節(jié)點(diǎn)的數(shù)據(jù)緩存情況自動(dòng)調(diào)度訓(xùn)練任務(wù),從而避免訓(xùn)練數(shù)據(jù)的重復(fù)下載,節(jié)省數(shù)據(jù)加載時(shí)間,加速模型訓(xùn)練進(jìn)度。并且支持?jǐn)?shù)據(jù)自動(dòng)下載和數(shù)據(jù)緩存管理。
安全沙箱技術(shù),為數(shù)據(jù)隱私護(hù)航
數(shù)據(jù)安全對企業(yè)AI開發(fā)至關(guān)重要,一套優(yōu)秀的數(shù)據(jù)管理解決方案必須能夠保證數(shù)據(jù)安全,確保數(shù)據(jù)不會發(fā)生增加、修改、丟失和泄露等。
AIStation采用安全沙箱技術(shù),將企業(yè)數(shù)據(jù)存儲區(qū)域與個(gè)人數(shù)據(jù)區(qū)分開,保證數(shù)據(jù)隱私安全。管理員可以設(shè)置數(shù)據(jù)下載權(quán)限,限制指定用戶或用戶組的下載功能,使涉密數(shù)據(jù)只能在平臺內(nèi)部使用,保障企業(yè)數(shù)據(jù)的安全性。
此外,AIStation可實(shí)現(xiàn)數(shù)據(jù)自動(dòng)多副本備份,降低宕機(jī)等原因?qū)е碌南到y(tǒng)中斷對AI開發(fā)的影響。
浪潮AIStation平臺針對AI開發(fā)中的數(shù)據(jù)管理問題輸出整體解決方案,可以幫助企業(yè)用戶建立穩(wěn)定高性能的數(shù)據(jù)管理機(jī)制,消除數(shù)據(jù)安全、數(shù)據(jù)沖突、帶寬延時(shí)等問題,讓模型訓(xùn)練效率獲得200%-300%的提升,顯著提升企業(yè)AI研發(fā)效率。
除了數(shù)據(jù),AIStation還能高效管理計(jì)算資源、開發(fā)環(huán)境,幫助AI用戶提高計(jì)算資源利用率,秒級構(gòu)建開發(fā)環(huán)境,加速AI研發(fā)創(chuàng)新進(jìn)程。
免責(zé)聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請?jiān)?0日內(nèi)進(jìn)行。
※ 有關(guān)作品版權(quán)事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時(shí)內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
24小時(shí)熱點(diǎn)圖片
一周新聞資訊點(diǎn)擊排行
關(guān)于我們 | CENN服務(wù) | 對外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機(jī)版
客戶服務(wù)熱線:020-34333079、34333137 傳真:020-34333002 舉報(bào)電話:020-34333002、13925138999(春雷) 舉報(bào)郵箱:cenn_gd@126.com
版權(quán)所有:中國企業(yè)新聞網(wǎng) 運(yùn)營商:廣州至高點(diǎn)網(wǎng)絡(luò)技術(shù)有限公司 地址:廣州市海珠區(qū)江燕路353號保利紅棉48棟1004