Biste li uskoro mogli izvršavati AI zadatke izravno na svom pametnom telefonu? MediaTek kaže da

Generative AI, jednu od najpopularnijih rastućih tehnologija, koristi OpenAI-jev ChatGPT i Google Bard za chat i sustavima za generiranje slika kao što su Stabilna difuzija i DALL-E. Ipak, ima određena ograničenja jer ti alati zahtijevaju korištenje podatkovnih centara temeljenih na oblaku sa stotinama GPU-ova za izvođenje računalnih procesa potrebnih za svaki upit.

Ali jednog dana bi mogao pobjeći generativni AI zadatke izravno na svom mobilnom uređaju. Ili vaš povezani automobil. Ili u svojoj dnevnoj sobi, spavaćoj sobi i kuhinji na pametnim zvučnicima kao što su Amazon Echo, Google Home ili Apple HomePod.

Također: Vaš sljedeći telefon moći će pokretati generativne AI alate (čak i u načinu rada u zrakoplovu)

MediaTek vjeruje da je ova budućnost bliža nego što mislimo. Danas je poluvodička tvrtka sa sjedištem u Tajvanu objavila da radi s Metom na prijenosu društvenog diva 

Lama 2 LLM -- u kombinaciji s APU-ovi najnovije generacije tvrtke i NeuroPilot platforma za razvoj softvera -- za pokretanje generativnih AI zadataka na uređajima bez oslanjanja na vanjsku obradu.

Naravno, postoji kvaka: ovo neće u potpunosti eliminirati podatkovni centar. Zbog veličine LLM skupova podataka (broja parametara koje sadrže) i potrebnih performansi sustava za pohranu, i dalje vam je potreban podatkovni centar, iako puno manji.

Na primjer, "mali" skup podataka Llame 2 sastoji se od 7 milijardi parametara, ili oko 13 GB, što je prikladno za neke rudimentarne generativne AI funkcije. Međutim, puno veća verzija od 72 milijarde parametara zahtijeva puno više prostora za pohranu proporcionalno, čak i korištenjem napredne kompresije podataka, što je izvan praktičnih mogućnosti današnjice pametni telefoni. Tijekom sljedećih nekoliko godina, LLM-ovi u razvoju lako će biti 10 do 100 puta veći od Llame 2 ili GPT-4, sa zahtjevima za pohranu u stotinama gigabajta i više.

Pametnom telefonu je to teško pohraniti i imati dovoljno IOPS-a za performanse baze podataka, ali svakako ne za posebno dizajnirane uređaje za predmemoriju s brzom flash memorijom i terabajtima RAM-a. Dakle, za Llamu 2 danas je moguće ugostiti uređaj optimiziran za posluživanje mobilnih uređaja u jednoj jedinici stalka bez teških računala. Nije telefon, ali je svejedno prilično impresivan!

Također: Najbolji AI chatbotovi 2023.: ChatGPT i alternative

MediaTek očekuje da će AI aplikacije temeljene na Llama 2 postati dostupne za pametne telefone koje pokreće njihov vodeći SoC sljedeće generacije, a koji bi se trebao pojaviti na tržištu do kraja godine.

Da bi generativna umjetna inteligencija na uređaju mogla pristupiti tim skupovima podataka, mobilni operateri morali bi se osloniti na rubne mreže niske latencije - male podatkovne centre/ormare opreme s brzim vezama na 5G tornjeve. Ti podatkovni centri bi se nalazili izravno na mreži operatera, tako da LLM-ovi koji rade na pametnim telefonima ne bi morali prolaziti kroz mnoge mrežne "skokove" prije pristupa podacima o parametrima.

Osim pokretanja AI radnih opterećenja na uređaju pomoću specijaliziranih procesora kao što su MediaTekovi, LLM-ovi specifični za domenu mogu se premjestiti bliže radno opterećenje aplikacije pokretanjem na hibridni način s ovim uređajima za predmemoriju unutar minijaturnog podatkovnog centra -- u "ograničenom rubu uređaja" scenarij.

Također: Ovo je mojih 5 omiljenih AI alata za rad

Dakle, koje su prednosti korištenja generativne umjetne inteligencije na uređaju?

• Smanjena latencija: Budući da se podaci obrađuju na samom uređaju, vrijeme odziva je znatno smanjeno, osobito ako se metodologije lokalizirane predmemorije koriste često pristupanim dijelovima parametra skup podataka.
• Poboljšana privatnost podataka: Čuvanjem podataka na uređaju, ti se podaci (kao što je chat razgovor ili obuka koju je poslao korisnik) ne prenose kroz podatkovni centar; samo podaci o modelu.
• Poboljšana učinkovitost propusnosti: Današnji generativni zadaci umjetne inteligencije zahtijevaju da svi podaci iz razgovora korisnika idu natrag i naprijed u podatkovni centar. Uz lokaliziranu obradu, velika količina toga događa se na uređaju.
• Povećana operativna otpornost: Uz generiranje na uređaju, sustav može nastaviti funkcionirati čak i ako je mreža prekinuta, osobito ako uređaj ima dovoljno veliku predmemoriju parametara.
• Energetska učinkovitost: Ne zahtijeva toliko računalno intenzivnih resursa u podatkovnom centru niti toliko energije za prijenos tih podataka s uređaja u podatkovni centar.

Međutim, postizanje ovih prednosti može uključivati ​​podjelu radnih opterećenja i korištenje drugih tehnika za uravnoteženje opterećenja kako bi se smanjili računalni troškovi centraliziranog podatkovnog centra i troškovi mreže.

Uz stalnu potrebu za brzo povezanim rubnim podatkovnim centrom (iako sa znatno smanjenim računalni i energetski zahtjevi), postoji još jedno pitanje: na koliko moćnom LLM-u stvarno možete raditi današnji hardver? I dok je manje zabrinutosti oko presretanja podataka na uređaju preko mreže, postoji dodatni sigurnosni rizik prodiranja osjetljivih podataka na lokalnoj uređaj ako se njime ne upravlja ispravno -- kao i izazov ažuriranja podataka modela i održavanja dosljednosti podataka na velikom broju distribuiranih rubnih predmemorija uređaja.

Također: Kako edge-to-cloud pokreće sljedeću fazu digitalne transformacije

I na kraju, tu je i trošak: Tko će platiti račun za sve te male rubne podatkovne centre? Rubno umrežavanje danas koriste pružatelji rubnih usluga (kao što je Equinix), što je potrebno uslugama kao što su Netflix i Appleov iTunes, tradicionalno ne operateri mobilnih mreža kao što su AT&T, T-Mobile ili Verizon. Pružatelji generativnih AI usluga kao što su OpenAI/Microsoft, Google i Meta morali bi razraditi slične aranžmane.

Mnogo je razmatranja u vezi s generativnom umjetnom inteligencijom na uređaju, ali jasno je da tehnološke tvrtke razmišljaju o tome. U roku od pet godina, vaš inteligentni pomoćnik na uređaju mogao bi razmišljati sam. Jeste li spremni za AI u svom džepu? Dolazi - i puno prije nego što je većina ljudi ikada očekivala.