Budućnost umjetne inteligencije priča je o softveru, kaže CEO Graphcorea

"Ovdje je pogrešno shvaćanje da je ovo softverski problem koji treba riješiti jednako, ako ne i više, nego hardverski problem", rekao je Nigel Toon, glavni izvršni direktor AI računalne tvrtke Graphcore.

Graphcore je poznat po izradi računalnog sustava koji ima stotine tisuća procesorskih jezgri unutar svake "jedinice za obradu inteligencije", ili IPU, čipa, za rješavanje problema umjetne inteligencije.

Njegovi najnoviji strojevi imaju IPU čip, "Bow", koji se sastoji od dvije poluvodičke matrice naslagane jedna na drugu.

Pa ipak, Toon, koji je prošli tjedan bio u gradu iz sjedišta Graphcorea u Bristolu u Engleskoj, rekao je za

ZDNet da je softver u srcu vrlo velikog izazova sve većih problema umjetne inteligencije, dok je hardver, iako nipošto trivijalan, u određenom smislu sekundaran.

"Možete izgraditi sve vrste egzotičnog hardvera, ali ako zapravo ne možete izgraditi softver koji može prevesti iz sposobnosti osobe da opiše na vrlo jednostavne razine u hardver, zapravo ne proizvodite rješenje," rekao je Toon tijekom ručka u kafiću The Grey Dog na Union Squareu na Manhattanu. susjedstvo.

Također: Proizvođač računala s umjetnom inteligencijom Graphcore predstavlja 3-D čip, obećava 'ultrainteligencijski' stroj s 500 trilijuna parametara

Bilo je to jedno od mnogih Toonovih putovanja otkako su izblijedjela ograničenja zbog pandemije. Uživa u povratku na sastanak s kupcima. "Dobro je ponovno putovati", rekao je i suočio se licem u lice.

Među točkama koje treba naglasiti na njegovom putu kroz SAD je softverski faktor. Konkretno, sposobnost Graphcoreovog softvera Poplar, koji prevodi programe napisane na AI okvirima kao što su PyTorch ili TensorFlow u učinkovit strojni kod.

To je, zapravo, čin prevođenja koji je ključan za AI, tvrdi Toon. Bez obzira koji hardver izgradite, izazov je kako prevesti ono što PyTorch ili TensorFlow programer radi na sve dostupne tranzistore.

Uobičajena je koncepcija da je AI hardver usmjeren na ubrzavanje množenja matrica, građevnog bloka ažuriranja težine neuronske mreže. Ali, suštinski, nije.

"Je li to samo množenje matrica i jesu li samo konvolucije ono što nam treba ili postoje druge operacije koje su nam potrebne?" upitao je Toon, retorički.

Zapravo, rekao je, "mnogo se više radi o složenosti podataka."

Velika neuronska mreža, rekao je Toon, kao što je GPT-3, je "zapravo pridružena memorija", tako da su veze između podataka ono što je bitno, a kretanje stvari unutar i iz memorije postaje usko grlo za računalstvo.

Također: Što je GPT-3? Sve što vaša tvrtka treba znati o OpenAI-jevom revolucionarnom jezičnom programu za umjetnu inteligenciju

Toon je dobro upoznat s takvim problemom veze. Toon je proveo četrnaest godina u proizvođaču programibilnih čipova Altera, prisjetio se, kojeg je kasnije kupio Intel. Programabilni logički čip, poznat kao "FPGA", radi tako što ima svoje računalne blokove, zvane ćelije, povezane za svaki zadatak tako što između njih pali fitilj.

"Cijeli softver" FPGA-a "svodi se na to kako uzmete graf, koji je vaša net-list ili vaš RTL, i prevedete ga u interkonekciju unutar FPGA-a", objasnio je.

Takvi softverski zadaci postaju vrlo složeni.

"Izgradite hijerarhiju interkonekcija unutar čipa kako biste pokušali učiniti da to funkcionira, ali, sa softverske točke gledišta, to je NP-Hard problem preslikavanja grafa na interkonekcije", rekao je, govoreći o "nedeterminističkom polinomskom vremenu", mjeri računskog složenost.

Budući da se radi o prevođenju složenosti asocijacija u tranzistore, "to je zapravo problem s grafom, zato smo tvrtku nazvali Graphcore", rekao je Toon. Općenito govoreći, graf je ukupnost međuovisnosti između različitih računalnih zadataka u određenom programu.

"Morate krenuti od pristupa računalne znanosti koji kaže, to će biti grafovi, trebate izgraditi procesor za rad na grafovima, za visoko paralelnu obradu grafova."

"Od toga gradimo softver, a smanjujemo procesor", rekao je.

To znači da hardver samo služi softveru. "Računalo slijedi strukturu podataka", tvrdi Toon. "To je softverski problem."

Također: DeepMindov 'Gato' je osrednji, pa zašto su ga napravili?

To je Toonova prilika da se okrene Nvidijinom CUDA softveru, koji ima ogromnu moć u svijetu umjetne inteligencije.

"Zanimljivo: mnogi ljudi kažu da je CUDA na neki način ekosustav koji onemogućuje da se bilo tko drugi natječe", primijetio je Toon. "Ali ono što pogrešno razumijete jest da nitko ne programira u CUDA-i, nitko ne želi programirati u CUDA-i, ljudi žele programirati u TensorFlowu, a sada i u PyTorchu, i sljedeći, JAX — žele konstrukciju visoke razine," rekao je, misleći na različite razvojne biblioteke otvorenog koda koje su izradili Meta i Google i drugi.

"Svi ti okviri su okviri grafova," primijetio je, "vi opisujete prilično apstraktan graf, s velikim operatorima u središtu svakog elementa unutar grafa."

Nvidia je, istaknuo je Toon, "sagradila nevjerojatan skup biblioteka za prevođenje s te visoke razine apstrakcija s kojom je programer ugodan — to je dio koji je napravila Nvidia, a ne CUDA nužno."

Uđite u konkurentsku ponudu Graphcorea, Poplar, stvar koja se prevodi iz PyTorcha i ostalo na ono što on tvrdi je Graphcoreov učinkovitiji hardver. Poplar rastavlja računalni graf i prevodi ga na bilo koja vrata koja su danas u hardveru Graphcorea i na ono što će zamijeniti ta vrata sutra.

Međutim, postoji skepticizam o Graphcoreu ili bilo kojoj od mnogih drugih mladih nada, kao što su Cerebras Systems i SambaNova, koji se natječu s Nvidijom u onim bibliotekama na koje se Toon poziva. U uvodniku u travnju, urednik Linley Gwennap iz prestižnog Microprocessor Reporta, napisao je da je "softver, a ne hardver, još uvijek problem". Gwennap tvrdi da vrijeme za smanjivanje jaza blijedi za Graphcore i druge jer Nvidia postaje sve bolja s poboljšanje hardvera kao što je Hopper.

Zar skeptici poput Gwennap ne cijene napredak softvera Poplar?

"To je putovanje", rekao je Toon. „Da ste prije dvije godine radili s Poplarom, rekli biste: Nije dovoljno dobro; ako se sada bavite Poplarom, rekli biste da je zapravo prilično dobro.

"A za dvije godine, ljudi će reći, Vau, ovo mi omogućuje da radim stvari koje ne mogu na GPU-u."

Softver je već, tvrdi Toon, vlastiti ekosustav koji se širi. "Pogledajte ekosustav koji smo stvorili oko Poplar-a, stvari kao što su PyTorch Lightning, PyTorch Geometric," dvije ekstenzije za PyTorch koje su prenesene na Poplar i Graphcore IPU čipove.

"To nije samo TensorFlow, to je cijeli paket", rekao je."TensorFlow je dobar za istraživača umjetne inteligencije, ali nije okruženje u koje podatkovni znanstvenik, pojedinac ili vrlo velika poduzeća mogu doći i samo se igrati s."

Praktičari, naspram znanstvenika, trebaju pristupačne alate. "Radimo s Hugging Face, Weights and Biases", između ostalih alata za strojno učenje, istaknuo je. "Postoje mnoge druge knjižnice koje izlaze, postoje tvrtke koje grade usluge na temelju IPU-ova", i "postoje MLO-ovi koji su preneseni za rad s Poplarom."

Također: DeepMind: Zašto je umjetna inteligencija tako dobra u jeziku? To je nešto u samom jeziku

Graphcore je "mnogo dalje u smislu izgradnje tog softverskog ekosustava za stvaranje te jednostavnosti korištenja, na koji ljudi mogu pristupiti", rekao je, u usporedbi sa Cerebrasom i drugim konkurentima.

To se zapravo svodi na softverski duopol, tvrdi Toon. "Pogledajte bilo koga drugoga, čak i velike tvrtke, nitko drugi to nema osim nas i Nvidije, taj niz ekosustava."

U međuvremenu, tvrdi on, Nvidijin napredak u hardveru nije tako dobar jer je Nvidijina sloboda dizajna ograničena vlastitim uspjehom. "Što Nvidia radi? Dodali su Tensor jezgre, a sada su dodali Transformer jezgre — ne mogu promijeniti temeljnu jezgru procesora jer da jesu, sve biblioteke bi morale biti odbačene."

Dok Graphcore i dalje zaostaje za Nvidijom u većini mjerila na MLPerf industrijskom paketu testova, kombinacija Poplar i IPU dizajna daje mjerljivu superiornost u određenim slučajevima gdje se može promišljeno primijeniti, tvrdi on.

"Na nekim modelima, poput neuronske mreže grafikona, na primjer, vidimo pet ili deset puta veću izvedbu" u usporedbi sa strojevima temeljenim na Nvidiji, rekao je, "zato što je struktura podataka, temeljna arhitektura koju smo izgradili unutar IPU-a, mnogo više usklađena s tom vrstom rijetke vrste grafikona računanje."

Također: Graphcore donosi novu konkurenciju Nvidiji u najnovijim MLPerf AI mjerilima

Softver Poplar također je postigao dva do tri puta brže pokretanje modela Transformer pronalaženjem pametnih načina za paralelizaciju elemenata grafikona, rekao je.

Premisa da je softver bojno polje i da Nvidia može imati stvarnu konkurenciju temelji se na premisi da se sama umjetna inteligencija još uvijek razvija. Postoji mnogo mogućnosti da se AI programi povećaju, tvrdi Toon, opterećujući mogućnosti računanja.

A temeljni problem razbijanja koda ljudske spoznaje još je dalek.

U prvom redu, programi doista postaju sve veći.

Današnji najveći AI modeli, stvari kao što su Nvidijini i Microsoftovi Megatron-Turing NLG, generativni model prirodnog jezika koji proizlazi iz inovacije Transformer iz 2017., ima pola trilijuna parametri, ili težine, elementi u neuronskoj mreži koji se podešavaju i koji su analogni sinapsama u stvarnom ljudski neuroni.

Također: Nvidia pojašnjava tvrdnju o Megatron-Turingovoj skali

Neki, uključujući Cerebras, ukazali su na budućnost čak trilijuna stotine trilijuna parametara, a Toon ponavlja taj osjećaj.

"Kako povećavate broj parametara i povećavate količinu podataka", primijetio je Toon, "povećavate izračunati množenikom ta dva dijela, i zato postoje te ogromne GPU farme koje su razvojni."

Brojka od 100 trilijuna svojevrsna je magična meta jer je vjeruje se da je to broj sinapsi u ljudskom mozgu, pa služi kao neka vrsta mjerila.

Jasno je da nema kontroverzi oko sve većeg i većeg, s obzirom na to da Graphcore i Nvidia i svi ostali grade sve snažnije strojeve za to.

Toon je, međutim, zainteresiran za drugu točku, pitanje računalne znanosti može li se sa svim tim učiniti nešto korisno i može li se približiti ljudskoj inteligenciji.

"Izazov oko toga je, znate, da imate model koji ima sto trilijuna parametara, bi li ga to učinilo pametnim poput osobe?" rekao je Toon.

Nije problem samo bacanja tranzistora na stvar, već problem projektiranja sustava.

"Znaš, znamo li mi to zapravo trenirati?" znači trenirati neuralnu mrežu nakon što ima 100 trilijuna utega. „Znamo li mu dati prave informacije? Znamo li kako konstruirati taj model na način da on zapravo odgovara ljudskoj inteligenciji ili bi bio toliko neučinkovit unatoč mnogo više parametara?"

Drugim riječima, "Možemo li zapravo znati kako izgraditi stroj koji bi odgovarao inteligenciji mozga?"

Jedan odgovor, nudi on, jest specijalizacija. Model od sto trilijuna parametara mogao bi biti stvarno dobar u nečemu što je usko definirano. "U sustavu poput [DeepMindovog algoritam za igranje] Atari, imaš dovoljno ograničenja da možeš razumjeti taj svijet," rekao je Toon.

Slično, "Možda bismo mogli izgraditi dovoljno razumijevanja, na primjer, o tome kako stanice rade i kako se DNK pretvara u RNK do proteina, da biste mogli imati sustav učenja za pojačanje koji bi koristio to razumijevanje da bi, na primjer, razradio, U redu, kako onda mogu savijati proteine ​​na takav način da ako se vežu za ovo stanica, i mogao sam komunicirati sa stanicom - a recimo da je stanica bila kancerogena stanica - mogao sam spojiti lijek na taj protein, i to bi moglo popraviti rak," razmišljao je Toon.

Također: AI: Uzorak nije u podacima, on je u stroju

"Bilo bi pomalo poput igre Atari koju je izgradio DeepMind koja je postala nadljudska, nadljudski sustav u ubijanju raka - bila bi specijalizirana."

Drugi je pristup, predlaže on, "općenitije razumijevanje svijeta" koje bi bilo slično načinu na koji ljudska dojenčad uči, tako što "bude izložen golemim količinama podataka o svijetu." Problem sto trilijuna sinapsi tada bi postao problem izgradnje "hijerarhija," rekao je Toon.

"Ljudi grade hijerarhiju razumijevanja svijeta", rekao je, a zatim "interpoliraju" popunjavajući praznine. "Koristite stvari koje znate da biste ekstrapolirali i zamislili", rekao je.

"Ljudi su vrlo loši u ekstrapolaciji; ono u čemu smo mnogo bolji je interpolacija, znate, postoji dio koji nedostaje — znam ovo, znam ovo, a ovo je negdje u sredini."

Toonovo razmišljanje o hijerarhiji odjekuje nekim teoretičarima u tom području, uključujući Metin glavni znanstvenik za umjetnu inteligenciju, Yann LeCun, koji je govorio o sastavljanju hijerarhija razumijevanja u neuronskim mrežama. Toon je pokazao da se slaže s aspektima LeCunovog razmišljanja.

Uokviren s tog stajališta, rekao je Toon, AI izazov postaje jedan od "kako izgraditi dovoljno veliko razumijevanje svijeta da radite puno više interpolacije nego ekstrapolacije?"

A taj bi izazov, vjeruje, bio jedan od vrlo "oskudnih" podataka, ažuriranja parametara iz malih, nadovezujućih dijelova podataka, a ne velike količine ponovne obuke na svim podacima.

"Čak i unutar određene stvari o kojoj ažurirate svijet, možda ćete morati dotaknuti različite točke svog razumijevanja svijeta", objasnio je Toon. "Možda nije sve uredno skupljeno na jednom mjestu, podaci su vrlo zbrkani i vrlo rijetki."

Sa stajališta računalstva, "završili biste s mnogo različitih dijelova paralelnog rada", rekao je rekao, "svi su vrlo rijetki, jer rade na različitim dijelovima podataka."

Obje ideje, interpolacija i specifičniji model raka-ubojica, u skladu su s idejama koje je iznio Toonov suosnivač, Graphcoreov tehnički direktor, Simon Knowles, koji je govorio o "destiliranje" općenitije, vrlo velike neuronske mreže do nečeg specifičnog.

Također su obje ideje za koje se čini da su u skladu s idejom da softver Poplar ima ključnu funkciju. Ako su novi dijelovi podataka rijetki, popunjavaju praznine i moraju se izvlačiti s mnogo mjesta u asocijativnoj memoriji i preko mnogo grafikona operacije, tada Poplar ima važnu ulogu kao vrsta prometnog policajca koji paralelno distribuira takve podatke i zadatke među IPU-om čips.

Također: AI startup Graphcore kaže da većina svijeta neće trenirati AI, samo će ga destilirati

Unatoč izlaganju tog scenarija, Toon nipošto nije ideološki. Ima na umu da još nitko nema siguran odgovor. "Mislim da postoje različite filozofije i različite ideje o tome kako to funkcionira, ali nitko to ne zna", rekao je o tom području. "I to je ono što ljudi istražuju."

Kada će sva duboka pitanja dobiti odgovore? Vjerojatno ne uskoro.

"Nevjerojatna stvar u vezi s umjetnom inteligencijom je to što smo deset godina iza AlexNeta, a još uvijek se osjećamo kao da istražujemo", rekao je, misleći neuronskoj mreži koja je slavno briljirala na natjecanju ImageNet 2012., donoseći oblike dubokog učenja umjetne inteligencije u naprijed

"Uvijek koristim analogiju s računalnim igranjem", rekao je Toon, koji je napisao igru ​​Star Wars za svoje prvo računalo, komplet 6502 "davno zaboravljenog" proizvođača računala. "Vjerojatno smo još uvijek u fazi Pac Mana, još nismo stigli do trodimenzionalnih igara," što se tiče evolucije umjetne inteligencije, rekao je.

Na putu do 3-D igara, "Mislim da neće biti AI zime", rekao je Toon, referirajući se na mnogo puta tijekom desetljeća kada je financiranje presušilo i uništilo industriju.

"Razlika je danas u tome što funkcionira, ovo je stvarno", rekao je. U prethodnim razdobljima, s tvrtkama AI-a kao što je Thinking Machines iz 1980-ih, "to jednostavno nije funkcioniralo, nismo imali dovoljno podataka, nismo imali dovoljno računala.

"Sada je jasno da radi, postoje jasni dokazi, donosi ogromnu vrijednost", rekao je Toon. "Ljudi na temelju toga grade cijele tvrtke", rekao je. "Mislim, ByteDance i TikTok su u osnovi tvrtke koje pokreću umjetna inteligencija i samo je pitanje koliko brzo prodiru u cijeli tehnološki prostor i u poduzeća."

Borbe između tehnoloških divova, kao što je između TikToka i Metinog instagrama, mogu se promatrati kao bitka AI, utrka u naoružanju za najbolje algoritme.

Također: AI za šezdeset sekundi

Trebalo bi pomisliti da Graphcore sigurno ima novca da preživi svaku zimu, sa 730 milijuna dolara u financiranju poduzetničkih ulaganja. Toon je odbio dati informacije ili prihode Graphcorea.

"Imamo novca, imamo tim", rekao je. "Mislim da uvijek možete imati više novca i veći tim, ali morate raditi unutar ograničenja koja postoje." Graphcore ima 650 zaposlenih.

U ovom trenutku, AI zima nije izazov. Prodaja kupaca na vrhunskoj kombinaciji softvera Poplar i IPU je. To svakako zvuči kao teška bitka protiv diva Nvidije.

Meta, vlasnik Facebooka, nedavno je najavio "istraživačko super računalo" za AI i Metaverse, izgrađeno na 6.080 Nvidia GPU-ova. Čini se kao da ljudi samo žele sve više i više Nvidia.

"Mislim da je to izazov koji imamo kao tvrtka, možemo li promijeniti srca i umove ljudi", rekao je Toon.

Pa, mogu li?

"Pazi na ovo mjesto", rekao je Toon i krenuo prema zračnoj luci.