Metin najnoviji AI model učinit će sadržaj dostupnim na stotinama jezika

Meta je otvorila model umjetne inteligencije koji može prevoditi na 200 različitih jezika, objavila je tvrtka Srijeda -- potez koji bi trebao otvoriti različite tehnologije i digitalni sadržaj puno šire publika. Model pod nazivom No Language Left Behind može prevoditi na 200 jezika, uključujući 55 afričkih jezika, s rezultatima visoke kvalitete.

"Nekolicina jezika - uključujući engleski, mandarinski, španjolski i arapski - dominira webom", istaknula je tvrtka u post na blogu. "Maternji govornici ovih vrlo raširenih jezika mogu uzeti zdravo za gotovo koliko je smisleno čitati nešto na vlastitom materinjem jeziku. NLLB će pomoći većem broju ljudi da čitaju stvari na jeziku koji preferiraju, umjesto da uvijek bude potreban posrednički jezik koji često krivo tumači mišljenje ili sadržaj." 

Meta naravno koristi NLLB za poboljšanje vlastitih proizvoda, ali otvorenim izvorom modela tehnolozi ga mogu koristiti za izradu drugih alata -- poput pomoćnika umjetne inteligencije koji dobro radi na jezicima kao što su javanski i uzbečki, ili zatvoreni titlovi na svahiliju ili oromu za Bollywood filmovi.

VIDJETI: Metaverse: zamah raste, ali tvrtke su i dalje oprezne

NLLB gotovo udvostručuje broj jezika koje pokriva jedan, najsuvremeniji AI model. Meta kaže da mnogi od tih jezika, kao što su kamba i lao, nisu dobro ili uopće podržani postojećim prevoditeljskim alatima. Manje od 25 afričkih jezika trenutno je podržano široko korištenim alatima za prevođenje.

Model također poboljšava kvalitetu prijevoda za prosječno 44%, u usporedbi s prethodnim istraživanjem umjetne inteligencije. Za neke afričke i indijske jezike, prijevodi NLLB-200 bili su više od 70% točniji. Kako bi odredila kvalitetu prijevoda, Meta je provela i automatizirane metričke procjene kao i ljudske procjene.

Kako bi osigurali kvalitetu prijevoda, Meta istraživači izgradili su FLORES-200, skup podataka koji im pomaže procijeniti izvedbu NLLB-a u 40 000 različitih jezičnih smjerova.

Uz NLLB-200 modele otvorenog izvora, Meta programerima stavlja na raspolaganje skup podataka FLORES-200, kao i kod za obuku modela i kod za ponovno stvaranje skupa podataka za obuku.

Osim toga, tvrtka dodjeljuje do 200.000 USD bespovratnih sredstava za utjecajnu upotrebu NLLB-200 istraživačima i neprofitnim organizacijama s inicijative usmjerene na održivost, sigurnost hrane, rodno uvjetovano nasilje, obrazovanje ili druga područja kao podrška održivom razvoju UN-a Ciljevi.

Što se tiče vlastitih proizvoda, Meta očekuje da će model podržavati više od 25 milijardi prijevoda svaki dan. Osim za prevođenje sadržaja i posluživanje boljih oglasa, model će se koristiti za uočavanje štetnog sadržaja i dezinformacija.

Metino NLLB istraživanje također se primjenjuje na sustave prevođenja koje koriste urednici Wikipedije. Meta se udružila s Zakladom Wikimedia, neprofitnom organizacijom koja ugošćuje Wikipediju i druge projekte besplatnog znanja, kako bi pomogla poboljšati sustave prevođenja na Wikipediji. Postoje verzije Wikipedije na više od 300 jezika, ali većina ima puno manje članaka od više od šest milijuna dostupnih na engleskom jeziku.

Urednici mogu koristiti tehnologiju iza NLLB-200, putem alata za prevođenje sadržaja Zaklade Wikimedia, da prevodite članke na više od 20 jezika s malo resursa (onih koji nemaju opsežne skupove podataka za treniranje umjetne inteligencije sustavi).