燧原科技亮相Hot Chips大會 詳解邃思芯片架構(gòu)
2021/8/25 10:12:39 來源:中國企業(yè)新聞網(wǎng)
導言:今天燧原科技在一年一度的Hot Chips大會上由首席架構(gòu)師劉彥和資深芯片設計總監(jiān)馮闖一起介紹了第一代云端訓練芯片“邃思1.0”的架構(gòu)細節(jié)。Hot Chips是全球高性能微處理器和集成電路相關的重要會議之一,芯片行業(yè)巨頭每年都借此機會展示自己公司的最新成果,包括處理器體系結(jié)構(gòu),基礎架構(gòu)計算平臺,內(nèi)存處理等各類技術(shù)!
今天燧原科技在一年一度的Hot Chips大會上由首席架構(gòu)師劉彥和資深芯片設計總監(jiān)馮闖一起介紹了第一代云端訓練芯片“邃思1.0”的架構(gòu)細節(jié)。Hot Chips是全球高性能微處理器和集成電路相關的重要會議之一,芯片行業(yè)巨頭每年都借此機會展示自己公司的最新成果,包括處理器體系結(jié)構(gòu),基礎架構(gòu)計算平臺,內(nèi)存處理等各類技術(shù)!
燧原科技第一代通用人工智能訓練芯片“邃思1.0”封裝示意圖
邃思1.0是燧原科技2019年12月發(fā)布的第一代云端AI訓練芯片,采用眾核結(jié)構(gòu),其計算核心采用了燧原科技自研的GCU-CARE計算引擎。整個SOC擁有32個GCU-CARE計算引擎,組成4個計算群組,全面支持常見AI張量數(shù)據(jù)格式(FP32/FP16/BF16, INT8/INT16/INT32),更全面地支撐客戶業(yè)務。CARE還創(chuàng)新地通過復用張量核心,用更有效的晶體管效率提供了標量、向量、張量以及多種數(shù)據(jù)精度的計算能力。
GCU-DARE數(shù)據(jù)架構(gòu),面向數(shù)據(jù)流優(yōu)化,在數(shù)據(jù)流動中進行處理。512GB/s的HBM和200GB/s的GCU-LARE互聯(lián),數(shù)倍于傳統(tǒng)GPU、CPU;強勁的分布式片上共享緩存,提供10TB/s的超大帶寬;可編程共享緩存,可控線程內(nèi)、線程間數(shù)據(jù)常駐共享,消除不必要的IO訪問,既降低了數(shù)據(jù)訪問延時,又節(jié)約了寶貴的IO帶寬;同時,DARE架構(gòu)還提供數(shù)據(jù)異步加載接口,支持數(shù)據(jù)與運算的流水執(zhí)行,提高運算并行度。
四路 GCU-LARE智能互聯(lián),200GB/s的高速低延時片間互聯(lián)接口,靈活支持不同規(guī)模的計算需求,可支持千卡級規(guī)模集群,為大中小型數(shù)據(jù)中心提供基于不同需求的人工智能訓練產(chǎn)品組合!
“邃思1.0”SOC
邃思1.0人工智能加速芯片專為云端訓練場景設計,支持CNN、RNN、LSTM、BERT等常用人工訓練模型,可用于圖像、流數(shù)據(jù)、語音等訓練場景。采用標準PCIe 4.0接口,廣泛兼容主流AI服務器,可滿足數(shù)據(jù)中心大規(guī)模部署的需求,且能效比領先。
演講的最后部分,劉彥還介紹了上個月剛剛在世界人工智能大會上發(fā)布的“邃思2.0”訓練芯片。經(jīng)過全新升級迭代后,邃思2.0的計算能力、存儲和帶寬、互聯(lián)能力較第一代訓練產(chǎn)品有巨大提升,對超大規(guī)模的模型支持能力獲得顯著增強。由此,燧原科技成為國內(nèi)首家發(fā)布第二代人工智能訓練產(chǎn)品組合的公司。
邃思2.0進行了大規(guī)模的架構(gòu)升級,針對人工智能計算的特性進行深度優(yōu)化,夯實了支持通用異構(gòu)計算的基礎;支持全面的計算精度,涵蓋從FP32、TF32、FP16、BF16到INT8,單精度FP32峰值算力達到40 TFLOPS,單精度張量TF32峰值算力達到160 TFLOPS。同時搭載了4顆HBM2E片上存儲芯片,高配支持64 GB內(nèi)存,帶寬達1.8 TB/s。GCU-LARE也全面升級,提供雙向300 GB/s互聯(lián)帶寬,支持數(shù)千張云燧CloudBlazer加速卡互聯(lián),實現(xiàn)優(yōu)異的線性加速比。
燧原科技第二代通用人工智能訓練芯片“邃思2.0”
而同步升級的馭算TopsRider軟件平臺,成為燧原科技構(gòu)建原始創(chuàng)新軟件生態(tài)的基石。通過軟硬件協(xié)同架構(gòu)設計,充分發(fā)揮邃思2.0的性能;基于算子泛化技術(shù)及圖優(yōu)化策略,支持主流深度學習框架下的各類模型訓練;利用Horovod分布式訓練框架與GCU-LARE互聯(lián)技術(shù)相互配合,為超大規(guī)模集群的高效運行提供解決方案。開放升級的編程模型和可擴展的算子接口,為客戶模型的優(yōu)化提供了自定義的開發(fā)能力。
免責聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請在30日內(nèi)進行。
※ 有關作品版權(quán)事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時內(nèi)審核并處理。
標簽 :
相關網(wǎng)文
24小時熱點圖片
一周新聞資訊點擊排行