近日，騰訊云小微提出的多語言預(yù)訓練模型“神農(nóng)MShenNonG”以平均分85分的成績登頂XTREME榜單。與此同時，該模型僅包含5億級別的小參數(shù)量，也一舉刷新業(yè)界記錄。據(jù)了解，該榜單是目前最受國內(nèi)外行業(yè)公司認可的多語言評測榜單，研究人員以多語言預(yù)訓練模型在此榜單的表現(xiàn)作為其跨語言遷移能力的評價標準。目前，全球有超過6900種語言，其中大多數(shù)語種都沒有足夠的數(shù)據(jù)支撐研究者將其單獨訓練成成熟模型。騰訊云小微深耕知識挖掘、語義理解技術(shù)以及預(yù)訓練技術(shù)，“神農(nóng)MShenNonG”此次登頂XTREME榜單，代表了其從單語言到多語言理解能力的一個顯著擴展，將跨語言遷移開發(fā)由市場平均的月級降低至10天。同時，“神農(nóng)”系列的預(yù)訓練模型已應(yīng)用于云小微全系列產(chǎn)品矩陣，可顯著提升AI語音助手、智能客服機器人、數(shù)智人等產(chǎn)品的多項技術(shù)指標，助力出海企業(yè)快速落地本地化服務(wù)。 刷新行業(yè)記錄，跨語言遷移開發(fā)周期縮短至10天 憑借對自然語言應(yīng)用程序等領(lǐng)域發(fā)展研究的積極作用，XTREME榜單備受業(yè)界認可。由于大多數(shù)的NLP預(yù)訓練模型主要為中文、英文等高資源語種，低資源小語種的研究并未得到足夠重視。2020年，來自 CMU、谷歌研究院和 DeepMind 的科學家們提出了覆蓋四十種語言、橫跨了12個語系的大規(guī)模多語言多任務(wù)基準 XTREME，其中包含了9項需要不同句法或語義層面進行推理的任務(wù)，并可以為語句文本分類、結(jié)構(gòu)預(yù)測、語句檢索和跨語言問答等自然語言處理任務(wù)提供有效支持。

 

此次登頂XTREME榜單，主要是由于“神農(nóng)MShenNonG”在以下三個不同維度做了創(chuàng)新性的嘗試。

 

首先，在數(shù)據(jù)層面，預(yù)訓練模型的訓練數(shù)據(jù)主要由兩種形式的數(shù)據(jù)構(gòu)成：單語種句子和雙語平行句對。此前的模型處理方法是，對于單語種句子，單純地將單語種信息輸入模型，并以MLM作為訓練目標，非常依賴相似語系之間“共享詞”的預(yù)測來建模各語言間的語義對齊關(guān)系；對于平行句對，又依賴平行語料的規(guī)模和組合，模型對其對齊關(guān)系的建模存在一定缺陷。為緩解以上問題，騰訊云小微研究團隊提出了基于混合編碼的數(shù)據(jù)構(gòu)造方式，分別利用雙語對齊詞典和句子檢索工具，構(gòu)造大量的“多語言混合”訓練數(shù)據(jù)。其次，在模型層面，研究團隊提出了一種可插拔的、基于多尺度的多語言信息融合模塊，分別從詞級別和句子級別多個尺度融入多語言信息，期望在訓練過程中，加強所有語種的詞向量的更新和對齊，解決多語言模型對低資源語種、低頻次詞匯建模較弱的問題。第三，在訓練方式上，研究團隊分別通過語種層面和語義層面引入對比學習策略，使得相同語義的表示相互拉近，不同語義的表示相互遠離，進一步強化多語言預(yù)訓練模型對于多語言的語義建模能力和語義匹配能力。值得注意的是，研究團隊重視多尺度的多語言的一致性建模，以強化預(yù)訓練模型的跨語言遷移能力，并將跨語言遷移開發(fā)由市場平均的月級降低至周級，同時，相較市場平均1個月以上的模型迭代周期，“神農(nóng)MShenNonG”僅需10天。 多次登頂權(quán)威榜單 神農(nóng)以技術(shù)優(yōu)勢探索出海場景 “神農(nóng)MShenNonG”登頂XTREME榜單，依托于騰訊云小微團隊技術(shù)研發(fā)和行業(yè)知識的長期積累。此前，騰訊云小微的中文預(yù)訓練模型ShenNonG就以十億級參數(shù)量一舉登頂CLUE總排行榜、1.1分類任務(wù)、閱讀理解任務(wù)和命名實體任務(wù)四個榜單，刷新行業(yè)記錄。專注于語義理解技術(shù)以及預(yù)訓練技術(shù)的研發(fā)，此次登頂XTREME榜單代表了騰訊云小微從單語言到多語言理解相關(guān)技術(shù)的一個擴展。目前，“神農(nóng)”系列的預(yù)訓練模型已應(yīng)用于全系列產(chǎn)品矩陣，可顯著提升AI語音助手、智能客服機器人、數(shù)智人等產(chǎn)品的多項技術(shù)指標。隨著開發(fā)的不斷成熟，優(yōu)勢產(chǎn)品向海外拓展成為不少國內(nèi)企業(yè)的選擇。但產(chǎn)品出海通常要面臨適應(yīng)新語種、業(yè)務(wù)本地化的挑戰(zhàn)。過往，以機器翻譯的方式將單語種遷移到多語言場景，不僅費時費力，效果也差強人意。相對于傳統(tǒng)的機器翻譯模式，騰訊云小微“神農(nóng)MShenNonG”預(yù)訓練模型有著低成本、低門檻的優(yōu)勢，以輕量參數(shù)為多行業(yè)、小語種提供跨語言遷移服務(wù)，助力企業(yè)降本增效，落地出海業(yè)務(wù)。未來，騰訊云小微團隊還將持續(xù)深耕知識挖掘和深度學習技術(shù)，探索更多技術(shù)落地場景，以科技助力各行業(yè)的企業(yè)更好地服務(wù)用戶，為社會創(chuàng)造更多價值。來源：北國網(wǎng)免責聲明：本文來源于網(wǎng)絡(luò)，僅代表作者本人觀點，與TechWeb無關(guān)。凡來源非TechWeb的新聞（作品）只代表本網(wǎng)傳播該消息，并不代表贊同其觀點。TechWeb對文中陳述、觀點判斷保持中立，不對所包含內(nèi)容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔全部責任

 

標簽：