企業(yè)發(fā)布
首頁 > 企業(yè)發(fā)布 > 詳細(xì)內(nèi)容
源1.0大模型登頂中文語言能力評(píng)測基準(zhǔn)CUGE榜首
2022/6/9 15:25:44 來源:中國企業(yè)新聞網(wǎng)
導(dǎo)言:近日,浪潮"源1.0"大模型登頂中文語言能力理解和生成評(píng)測基準(zhǔn)CUGE總榜榜首,并獲得語言理解(篇章級(jí))、語言生成、對(duì)話交互、多語言、數(shù)學(xué)推理等5項(xiàng)評(píng)測最佳成績。這是繼源1.0攬獲權(quán)威中文語言評(píng)測基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍后,再次在評(píng)測中展現(xiàn)強(qiáng)大實(shí)力。
近日,浪潮"源1.0"大模型登頂中文語言能力理解和生成評(píng)測基準(zhǔn)CUGE總榜榜首,并獲得語言理解(篇章級(jí))、語言生成、對(duì)話交互、多語言、數(shù)學(xué)推理等5項(xiàng)評(píng)測最佳成績。這是繼源1.0攬獲權(quán)威中文語言評(píng)測基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍后,再次在評(píng)測中展現(xiàn)強(qiáng)大實(shí)力。
CUGE(Chinese Language Understanding and Generation Evaluation)智源指數(shù)是由清華大學(xué)、北京大學(xué)、北京智源研究院等高校機(jī)構(gòu)共同建立的中文機(jī)器語言能力評(píng)測基準(zhǔn),該基準(zhǔn)針對(duì)當(dāng)前自然語言處理和人工智能發(fā)展新范式,面向具有"通用語言能力"的預(yù)訓(xùn)練模型,全面系統(tǒng)、多層次、多維度地評(píng)測大模型能力。
源1.0領(lǐng)跑多類綜合語言場景
在語言理解(篇章級(jí))評(píng)測中,源1.0僅用時(shí)11分鐘,便完成數(shù)千篇閱讀理解回答4000多個(gè)問題,以86.9高分的成績位居榜首,展現(xiàn)出頂尖的語言理解能力;谠1.0大模型強(qiáng)大的閱讀理解能力及高速處理大量樣本的特點(diǎn),未來將加速勞動(dòng)密集型文本處理等行業(yè)變革,如應(yīng)用于智能客服根據(jù)用戶提供的信息在產(chǎn)品文檔中快速找到解決方案及智能司法、智能招聘系統(tǒng)等。
在語言生成評(píng)測中,源1.0僅用時(shí)70秒,就完成近800條摘要內(nèi)容的生成,登頂該項(xiàng)榜單。源大模型強(qiáng)大的文本生成能力可提升智能問答與對(duì)話、新聞?wù)、?bào)告生成等場景中AI智能化水平,如從長篇幅的新聞資訊等文本中提取出簡明扼要的文字描述,便于及時(shí)、高效的獲取有價(jià)值的信息及智能文案、協(xié)助寫作等場景。
在多語言機(jī)器翻譯評(píng)測中,基于源1.0大模型蒸餾出來的翻譯模型在完成近4000千對(duì)中英文互譯后,登頂榜首,領(lǐng)先第二名15%。翻譯模型在基于源1.0大模型閱讀的海量高質(zhì)量數(shù)據(jù)集基礎(chǔ)上,采用維基百科、書籍、聯(lián)合國文件及字幕組等近80G高質(zhì)量數(shù)據(jù)集進(jìn)行強(qiáng)化訓(xùn)練,因此翻譯不僅專業(yè)準(zhǔn)確,同時(shí)更符合中文表述。未來可廣泛應(yīng)用于新聞、哲學(xué)、小說等日常的語言翻譯場景中。
在對(duì)話交互評(píng)測中,基于源1.0大模型蒸餾出來的對(duì)話模型回答了電影、音樂、旅行3個(gè)領(lǐng)域共近萬個(gè)主題對(duì)話,成績位居榜首,領(lǐng)先第二名成績30%,展現(xiàn)了極強(qiáng)的智能對(duì)話能力。在繼承源1.0大模型能力的基礎(chǔ)上,對(duì)話模型采用了2660萬條醫(yī)療、法律、保險(xiǎn)等不同行業(yè),歷史、電影、娛樂等不同場景的對(duì)話語料數(shù)據(jù)進(jìn)行強(qiáng)化訓(xùn)練,在知識(shí)問答、高頻閑聊等開放式任務(wù)上表現(xiàn)突出,此前已獲得業(yè)界權(quán)威測評(píng)WebQA開放問答數(shù)據(jù)集榜單冠軍!
當(dāng)前,智能對(duì)話普遍存在內(nèi)容乏味、主題不連貫等問題,往往幾輪對(duì)話后,回答便空洞重復(fù),大大降低用戶體驗(yàn)。知識(shí)驅(qū)動(dòng)的對(duì)話模型直接連接到廣泛的知識(shí)庫,大大增加對(duì)話內(nèi)容的豐富度,在一定知識(shí)背景下也不會(huì)偏題,更趨向于人類之間的交談。不久前,源開發(fā)者社區(qū)的一位開發(fā)者基于源的對(duì)話模型創(chuàng)建了一位能與人類玩劇本殺的AI虛擬玩家,一位人類玩家與AI虛擬玩家聊天到深夜凌晨仍興趣盎然。以知識(shí)驅(qū)動(dòng)的對(duì)話模型,可廣泛應(yīng)用于各類虛擬人、智能助手、智能客服等場景,并極大提升對(duì)話的智能水平和用戶體驗(yàn)。
源1.0在數(shù)學(xué)推理鋒芒初露
當(dāng)前業(yè)界各類大模型在自然語言處理領(lǐng)域展示出了強(qiáng)大的能力,但在數(shù)學(xué)領(lǐng)域卻還存在盲區(qū)。數(shù)學(xué)對(duì)邏輯和推理能力有極強(qiáng)的要求,Open AI開發(fā)出多種方法訓(xùn)練GPT-3的數(shù)學(xué)推理能力,但在挑戰(zhàn)小學(xué)數(shù)學(xué)應(yīng)用題時(shí),GPT-3也尚未及格,數(shù)學(xué)推理能力甚至低于9-12歲兒童。
為更好評(píng)測大模型邏輯推理能力,CUGE專門設(shè)立了數(shù)學(xué)推理能力榜單,主要考察模型數(shù)值計(jì)算能力,即考察對(duì)應(yīng)用情景和任務(wù)的理解抽象能力以及數(shù)值計(jì)算能力,類似于小學(xué)數(shù)學(xué)應(yīng)用題。數(shù)學(xué)推理能力榜單數(shù)據(jù)庫內(nèi)的數(shù)學(xué)題來自在線教育網(wǎng)站提供的小學(xué)數(shù)學(xué)應(yīng)用題。
在CUGE數(shù)學(xué)推理評(píng)測中,源1.0大模型完成1000道小學(xué)數(shù)學(xué)應(yīng)用題,以76.9的高分大幅領(lǐng)先高居榜首。
為應(yīng)對(duì)大模型在數(shù)學(xué)推理方面的挑戰(zhàn),浪潮為源1.0開發(fā)了一套相似啟發(fā)式數(shù)據(jù)增強(qiáng)的方案,給每一個(gè)要求解的數(shù)學(xué)問題從數(shù)據(jù)庫中檢索并匹配一個(gè)相似的題目并與原題目進(jìn)行拼接,通過類比學(xué)習(xí),啟發(fā)大模型能夠根據(jù)兩道相似問題更好地學(xué)習(xí)如何給出解題表達(dá)式,進(jìn)而學(xué)會(huì)每一類題目的解法,類似于人類在學(xué)習(xí)過程中會(huì)通過連續(xù)學(xué)習(xí)同一類型的題目來提高對(duì)這一類型題目的理解能力;同時(shí),浪潮在源1.0改進(jìn)了算法掩碼策略,使得模型在學(xué)習(xí)過程中只關(guān)注于連續(xù)的相似的題目,不受同一個(gè)輸入序列中不相關(guān)題目的影響,這樣模型可以更專注于學(xué)習(xí)同一類型的題目,極大地提升了解題準(zhǔn)確度,全方面培養(yǎng)一個(gè)數(shù)學(xué)學(xué)霸。
源1.0開源開放計(jì)劃收效顯著
目前,浪潮"源1.0"已經(jīng)將模型API、高質(zhì)量數(shù)據(jù)集、模型訓(xùn)練代碼、推理代碼和應(yīng)用代碼等等工具和能力開源開放,超過300家行業(yè)用戶和開發(fā)者,通過"源1.0"提供的數(shù)據(jù)和API顯著提升了金融、互聯(lián)網(wǎng)、醫(yī)療和自動(dòng)駕駛等行業(yè)應(yīng)用的精度。浪潮源1.0將持續(xù)助力行業(yè)用戶和開發(fā)者,攜手推動(dòng)技術(shù)創(chuàng)新、場景融合、應(yīng)用開發(fā),共同促進(jìn)大模型的健康發(fā)展與產(chǎn)業(yè)落地,加速AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化發(fā)展。
免責(zé)聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本網(wǎng)站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請(qǐng)?jiān)?0日內(nèi)進(jìn)行。
※ 有關(guān)作品版權(quán)事宜請(qǐng)聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時(shí)內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
24小時(shí)熱點(diǎn)圖片
一周新聞資訊點(diǎn)擊排行
關(guān)于我們 | CENN服務(wù) | 對(duì)外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機(jī)版
客戶服務(wù)熱線:020-34333079、34333137 舉報(bào)電話:020-34333002 投稿郵箱:cenn_gd@126.com
版權(quán)所有:中國企業(yè)新聞網(wǎng) 運(yùn)營商:廣州至高點(diǎn)網(wǎng)絡(luò)科技投資有限公司 地址:廣州市海珠區(qū)江燕路353號(hào)保利紅棉48棟1004