①M(fèi)eta周二發(fā)布了一個(gè)名為SeamlessM4T的人工智能模型,可以翻譯和轉(zhuǎn)錄近百種語言;
②對于語音轉(zhuǎn)語音和文本轉(zhuǎn)語音的操作,SeamlessM4T可以識別100種輸入語言,并將其轉(zhuǎn)換為35種輸出語言。
當(dāng)?shù)貢r(shí)間周二(8月22日),Meta發(fā)布了一個(gè)名為SeamlessM4T的人工智能(AI)模型,可以翻譯和轉(zhuǎn)錄近百種語言。
據(jù)Meta介紹,SeamlessM4T可以翻譯近100種語言的語音到文本和文本到文本。對于語音轉(zhuǎn)語音和文本轉(zhuǎn)語音的操作,它可以識別100種輸入語言,并將其轉(zhuǎn)換為35種輸出語言。
SeamlessM4T是根據(jù)知識共享許可(CC) 協(xié)議4.0發(fā)布的,允許研究人員對其進(jìn)行迭代。
除了SeamlessM4T,Meta還發(fā)布了其開放翻譯數(shù)據(jù)集SeamlessAlign的元數(shù)據(jù)。
Meta表示:“建立一個(gè)通用語言翻譯器,例如像《銀河系漫游指南》中虛構(gòu)的巴別魚那樣,是具有挑戰(zhàn)性的,因?yàn)楝F(xiàn)有的語音對語音和語音對文本系統(tǒng)只覆蓋了世界語言的一小部分。”
《銀河系漫游指南》是由英國作家道格拉斯·亞當(dāng)斯所寫的一系列科幻小說,而巴別魚是這部作品所創(chuàng)造的一種神奇生物,體型小到足以放進(jìn)人的耳朵,靠接受腦電波為生。如果將巴別魚放到耳朵里,人們可以理解任何語言。
對于SeamlessM4T模型,Meta研究人員在一篇研究論文中表示,他們從400萬小時(shí)的原始音頻中收集了音頻訓(xùn)練數(shù)據(jù),這些音頻來自一個(gè)公開的抓取網(wǎng)絡(luò)數(shù)據(jù)存儲庫,但沒有說明是哪個(gè)存儲庫。
研究報(bào)告稱,文本數(shù)據(jù)來自去年創(chuàng)建的數(shù)據(jù)集,這些數(shù)據(jù)集從維基百科和相關(guān)網(wǎng)站上提取了內(nèi)容。
Meta表示,SeamlessM4T代表了一個(gè)重大突破,因?yàn)檫@個(gè)模型可以一次性完成整個(gè)翻譯任務(wù),而不像其他大型翻譯模型那樣,將翻譯分成不同的系統(tǒng)。
SeamlessM4T建立在Meta之前的翻譯模型之上。Meta去年發(fā)布了支持200種語言的文本到文本的翻譯模型。它開發(fā)了用于多語言語音到語音翻譯的數(shù)據(jù)集,以及用于語音識別的大規(guī)模多語言語音。Meta去年展示了它的通用語音翻譯器,可將閩南語轉(zhuǎn)化為英語。