新聞聯(lián)播
首頁 > 新聞聯(lián)播 > 詳細(xì)內(nèi)容
科學(xué)家利用遷移學(xué)習(xí)建立計算大模型預(yù)測基因調(diào)控研究
導(dǎo)言:最近,利用遷移學(xué)習(xí)的機器學(xué)習(xí)技術(shù)在自然語言和計算機視覺等領(lǐng)域帶來了變革性進展,其通過在大規(guī)模通用數(shù)據(jù)集上進行大模型預(yù)訓(xùn)練,而后遷移到數(shù)據(jù)量有限的特定任務(wù)進行微調(diào)。美國博德研究所等研究團隊提出了一個深度學(xué)習(xí)模型Geneformer可實現(xiàn)特定生物學(xué)任務(wù)與背景中的預(yù)測。
基因網(wǎng)絡(luò)繪制需要大量轉(zhuǎn)錄組數(shù)據(jù)用于建立基因之間的聯(lián)系,這也阻礙了一些數(shù)據(jù)有限場景(如罕見病)等研究。最近,利用遷移學(xué)習(xí)的機器學(xué)習(xí)技術(shù)在自然語言和計算機視覺等領(lǐng)域帶來了變革性進展,其通過在大規(guī)模通用數(shù)據(jù)集上進行大模型預(yù)訓(xùn)練,而后遷移到數(shù)據(jù)量有限的特定任務(wù)進行微調(diào)。美國博德研究所等研究團隊提出了一個深度學(xué)習(xí)模型Geneformer可實現(xiàn)特定生物學(xué)任務(wù)與背景中的預(yù)測。該研究成果于近日發(fā)表在《Nature》雜志上,題為:Transfer learning enables predictions in network biology。
研究人員開發(fā)的深度學(xué)習(xí)模型Geneformer,在大約3000萬個單細(xì)胞轉(zhuǎn)錄組的大規(guī)模數(shù)據(jù)集上進行了預(yù)訓(xùn)練,以便在網(wǎng)絡(luò)生物學(xué)有限數(shù)據(jù)的情況下進行特異性預(yù)測。在預(yù)訓(xùn)練期間,Geneformer獲得了對網(wǎng)絡(luò)動態(tài)的基本理解,以完全自我監(jiān)督的方式在模型的注意力權(quán)重中編碼網(wǎng)絡(luò)層次。研究人員利用Geneformer基于下游有限數(shù)據(jù)進行了預(yù)測任務(wù),包括“疾病候選靶點預(yù)測”“解釋拷貝數(shù)變異”“關(guān)鍵基因網(wǎng)絡(luò)調(diào)控因子”“基因網(wǎng)絡(luò)層次編碼”“染色質(zhì)動力學(xué)預(yù)測”等,并通過實驗支持了其預(yù)測的結(jié)果。
綜上,Geneformer代表了一種預(yù)訓(xùn)練的深度學(xué)習(xí)模型,可以對其進行微調(diào),以實現(xiàn)廣泛的下游應(yīng)用,加速發(fā)現(xiàn)網(wǎng)絡(luò)調(diào)節(jié)關(guān)鍵環(huán)節(jié)和候選治療目標(biāo)。
注:此研究成果摘自《Nature》雜志,文章內(nèi)容不代表本網(wǎng)站觀點和立場,僅供參考。
免責(zé)聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請在30日內(nèi)進行。
※ 有關(guān)作品版權(quán)事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
一周新聞資訊點擊排行
關(guān)于我們 | CENN服務(wù) | 對外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機版
客戶服務(wù)熱線:020-34333079、34333137 舉報電話:020-34333002 投稿郵箱:cenn_gd@126.com
版權(quán)所有:中國企業(yè)新聞網(wǎng) 運營商:廣州至高點網(wǎng)絡(luò)科技投資有限公司 地址:廣州市海珠區(qū)江燕路353號保利紅棉48棟1004