Sve najavljeno na Nvidijinom GTC 2021: CPU podatkovnog centra, SDK za kvantne simulacije i više

Nakon godina u izradi, Nvidia je u ponedjeljak predstavila "Grace," Arm-based CPU za podatkovne centre. Procesor je bio jedna od nekoliko najava isporučenih prvog dana Nvidijine konferencije o grafičkoj tehnologiji (GTC) 2021., gdje će proizvođač čipova iznijeti svoje planove za unapređenje ubrzanog računalstva. Uz Grace, Nvidia je najavila sljedeću generaciju jedinice za obradu podataka, nove poslovne GPU-ove, novi autonomni poticanje SOC-a, novi aplikacijski okvir za kibernetičku sigurnost, novi SDK za ubrzavanje simulacija kvantnih sklopova i više.

GTC je ove godine potpuno virtualan, traje od ponedjeljka do petka, dajući Nvidiji dovoljno vremena da istakne svoje nekoliko inovacija proizvoda. Nvidia je odigrala ključnu ulogu u unapređenju umjetne inteligencije putem GPU-a, ali njezine veće ambicije nisu tajna: u rujnu je tvrtka objavila svoju namjeru kupiti IP dobavljača čipova Arm za 40 milijardi dolara.

"Vodeća umjetna inteligencija i znanost o podacima guraju današnju računalnu arhitekturu izvan njenih granica – obrađujući nezamislive količine podataka", rekao je osnivač i izvršni direktor Nvidije Jensen Huang u izjavi u ponedjeljak. "Koristeći Armov IP model licenciranja, Nvidia je izgradila Grace, CPU dizajniran za AI i HPC velikih razmjera. Zajedno s GPU-om i DPU-om, Grace nam daje treću temeljnu tehnologiju za računalstvo i mogućnost restrukturiranja podatkovnog centra za unaprjeđenje AI-ja. Nvidia je sada tvrtka s tri čipa."

Grace, Nvidijin prvi CPU podatkovnog centra

Grace, Nvidijin Arm procesor, dizajniran je za pokretanje naprednih aplikacija koje koriste velike skupove podataka i oslanjaju se na ultrabrzo računanje i značajnu memoriju. To bi moglo uključivati ​​obradu prirodnog jezika, sustave preporuka i AI superračunalstvo. Huang je Grace nazvao "osnovnim građevnim elementom modernog podatkovnog centra".

Sustav temeljen na Graceu moći će trenirati model obrade prirodnog jezika (NLP) s jednim trilijunom parametara 10x brže od današnjih najmodernijih sustava temeljenih na Nvidiji DGX, koji rade na x86 CPU-ima.

Nvidijina tehnologija međusobnog povezivanja 4. generacije NVLink pruža vezu od 900 GB/s između Grace CPU-a i Nvidia GPU-a, omogućujući 30x veću ukupnu propusnost u usporedbi s današnjim vodećim poslužiteljima.

Memorijski podsustav LPDDR5x čipa isporučivat će dvostruko veću propusnost i 10x bolju energetsku učinkovitost u usporedbi s DDR4 memorijom. Dodatno, nova arhitektura pruža jedinstvenu koherenciju predmemorije s jednim memorijskim adresnim prostorom, kombinirajući sistemsku i HBM GPU memoriju kako bi se pojednostavila mogućnost programiranja.

Prvi kupci koji su najavili planove za implementaciju Gracea su Švicarski nacionalni superračunalni centar (CSCS) i Nacionalni laboratorij Los Alamos Ministarstva energetike SAD-a. Oba laboratorija planiraju 2023. lansirati superračunala s pogonom Grace, koje je izradio HPE.

Šira dostupnost Gracea predviđena je za 2023.

Huang je objasnio kako Grace, zajedno s Nvidijinim GPU-ima i DPU-ima, uklapa se u plan Nvidijinog podatkovnog centra.

Grace vs. Intel, AMD

U razgovoru s novinarima nakon svog uvodnog izlaganja, Huang je obeshrabrio pomisao da će Grace negativno utjecati na Nvidijin odnos s drugim proizvođačima čipova za podatkovne centre. Nvidia ima "izvrsna" partnerstva s Intelom, AMD-om i drugima, rekao je.

"Sve su to tvrtke koje imaju stvarno sjajne proizvode, a naša je strategija podržati ih", rekao je. "Povezivanjem naše platforme, Nvidia AI ili RTX ili Omniverse i svih naših platformskih tehnologija, s njihovim CPU-om, možemo proširiti cjelokupno tržište."

Upitan hoće li Grace ići dalje od podatkovnog centra, Huang je rekao da Nvidia gradi tehnologiju "koja je namijenjena cijeloj industriji kako bi je mogli koristiti, kako god smatraju prikladnim. Dakle, Grace će biti komercijalan na točno isti način na koji su Nvidijini GPU-ovi komercijalni." 

Dodao je: "Naša primarna preferencija je da ne gradimo nešto. Ako ga netko drugi gradi, rado ćemo ga koristiti. To nam omogućuje da uštedimo naše kritične resurse i usredotočimo se na napredak industrije na prilično jedinstven način."

Grace je, nastavio je Huang, napravljen kako bi riješio jedinstveni problem treniranja modela umjetne inteligencije koji su ogromni.

"Potreban je mjesec dana za treniranje 1 bilijuna parametara, a svijet bi želio trenirati 100 bilijuna parametara na multimodalnim podacima, gledajući video i tekst u isto vrijeme", rekao je. "Putovanje tamo se neće dogoditi korištenjem današnje arhitekture."

Huang je rekao da će stotine, ili "moglo bi biti tisuće," kompanija trebati divovske sustave pokretane tehnologijom kao što je Grace.

Problem poput obrade prirodnog jezika, na primjer, treba pokriti desetke jezika, kao i jezik specifičan za industriju za različite industrije. U međuvremenu, NLP zahtijeva stalnu obuku, budući da se jezik prirodno razvija.

"Moj osjećaj je da će to biti vrlo, vrlo veliko novo tržište, kao što su GPU-ovi [u početku] bili tržište vrijedno 0 milijardi dolara", rekao je Huang. "Skloni smo tržištima od 0 milijardi dolara jer tako dajemo doprinos industriji. Moja intuicija je da će biti jako velik, ali ne znam točno koliko velik.

Omniverse Enterprise

Nakon otvaranja Omniverse platforme za dizajn i suradnju za otvorenu beta verziju u prosincu, Nvidia sada najavljuje Omniverse Enterprise. Donosi platformu 3D dizajna poslovnoj zajednici na poznati model licenciranja. Uključuje Omnitverse nucleus poslužitelj za izradu i pregled aplikacija, kao i mogućnosti virtualne radne stanice. Osmišljen je za implementaciju u organizacijama bilo koje veličine, omogućujući timovima da rade zajedno na složenim projektima.

Do sada je Nvidia imala više od 400 velikih tvrtki koje koriste Omniverse. BMW Group stvorio je potpunog digitalnog blizanca jedne od svojih tvornica, kroz koju u svakom trenutku prolazi više od 300 automobila. Izdavač igara Activision koristi ga za organiziranje više od 100.000 3D sredstava.

U međuvremenu, Bentley Systems, softverska tvrtka za inženjering infrastrukture, prva je treća strana koja je razvila paket aplikacija na platformi Omniverse. Softver Bentley koristi se za projektiranje, simulaciju i modeliranje najvećih infrastrukturnih projekata u svijetu.

Bluefield-3 DPU

Nvidia je najavila BlueField-3, sljedeću generaciju svoje jedinice za obradu podataka (DPU) -- akcelerator dizajniran za izolaciju infrastrukturne usluge iz aplikacija koje rade na x86 procesorima. Čineći to, ubrzava softverski definirano umrežavanje, pohranu i kibernetička sigurnost.

BlueField-3 DPU ima 16 Arm A78 jezgri i ubrzava mrežni promet brzinom od 400 Gbps. Za isporuku ekvivalentnih usluga podatkovnog centra bilo bi potrebno do 300 CPU jezgri. Čip ima 10x veću računsku snagu od prethodne generacije, kao i 4x veću akceleraciju za kriptografiju. BlueField-3 je također prvi DPU koji podržava petu generaciju PCIe i nudi vremenski sinkronizirano ubrzanje podatkovnog centra.

Nvidia također stavlja na raspolaganje DOCA 1.0, svoj SDK za programiranje BlueFielda.

Dell Technologies, Inspur, Lenovo i Supermicro integriraju BlueField DPU u svoje poslužitelje. Pružatelji usluga u oblaku koji koriste DPU uključuju Baidu, JD.com i UCloud. Partneri hibridne platforme u oblaku koji podržavaju BlueField-3 uključuju Canonical, Red Hat i VMware. Također ga podržavaju čelnici kibernetičke sigurnosti Fortinet i Guardicore; pružatelji usluga pohrane DDN, NetApp i WekaIO; i pružatelji rubnih platformi Cloudflare, F5 i Juniper Networks.

BlueField-3 potpuno je kompatibilan s prethodnim verzijama s BlueField-2 i očekuje se da će se uzorkovati u prvom tromjesečju 2022.

Novi DGX SuperPOD

Nvidia je predstavila sljedeću generaciju svog DGX SuperPOD-a, koji je sustav koji se sastoji od 20 ili više DGX A100 zajedno s Nvidijinim InfiniBand HDR umrežavanjem. Najnoviji superPOD je izvorni u oblaku i multi-tenant. Koristi Nvidijine BlueField-2 DPU-ove za rasterećenje, ubrzanje i izolaciju korisničkih podataka. Novi SuperPOD bit će dostupan u drugom kvartalu preko Nvidia partnera.

U međuvremenu, Nvidia je predstavila Base Command za kontrolu AI obuke i operacija na DGX SuperPOD infrastrukturi. Omogućuje višestrukim korisnicima i IT timovima siguran pristup, dijeljenje i upravljanje infrastrukturom. Base Command bit će dostupan u Q2.

Nvidia je također najavila novu ponudu pretplate za DGX stanica A100 -- stolni model računala s umjetnom inteligencijom. Nova ponuda trebala bi organizacijama olakšati rad na razvoju umjetne inteligencije izvan podatkovnog centra. Pretplate počinju po maloprodajnoj cijeni od 9000 USD mjesečno.

CuQuantum SDK

Iako Nvidia ne gradi kvantno računalo, uvodi cuQuantum SDK kako bi ubrzala simulacije kvantnih sklopova na GPU-ovi. Klasična računala već pronalaze načine za ugošćavanje kvantnih simulacija, a biblioteka cuQuantum osmišljena je da to unaprijedi istraživanje.

Istraživači s Caltecha koji su radili s cuQuantumom uspjeli su postići svjetski rekord u simulaciji Google Sycamore sklopa i uspjeli su postići 9x bolje performanse po GPU-u.

Nvidia očekuje da će povećanje performansi i jednostavnost korištenja cuQuantuma učiniti temeljnim elementom za kvantne okvire i simulatore. "Nadam se da bi cuQuantum učinio za kvantno računalstvo ono što je cuDNN učinio za duboko učenje", rekao je Huang, misleći na Nvidijinu biblioteku dubokih neuronskih mreža CUDA.

EGX AI platforma za poduzeća

Nvidia predstavlja a novi val Nvidia certificiranih poslužitelja s novim poslovnim GPU-ovima, A30 i A10. A30 je zapravo smanjena verzija Nvidia A100. Podržava širok raspon AI zaključaka, obuke i tradicionalnih poslovnih računalnih opterećenja. Može pokretati slučajeve upotrebe umjetne inteligencije kao što su sustavi preporuka, razgovorna umjetna inteligencija i sustavi računalnog vida.

A10 tensor core GPU zapravo je smanjena verzija A40. Pokreće ubrzanu grafiku, renderiranje, AI i računalna opterećenja u glavnim sustavima s certifikatom Nvidia. I A10 i A30 izgrađeni su na Nvidia Ampere arhitekturi i daju 24 Gb memorije i PCIe Gen 4 memorijsku propusnost.

Uz Nvidia EGX platformu, poduzeća mogu pokretati AI radna opterećenja na infrastrukturi koja se koristi za tradicionalne poslovne aplikacije. Među onima koji nude mainstream poslužitelje s Nvidia certifikatom koji podržavaju EGX: Atos, Dell Technologies, GIGABYTE, H3C, Inspur, Lenovo, QCT i Supermikro. Lockheed Martin i Mass General Brigham među prvima su ugradili ove sustave u svoje podatkovne centre.

U međuvremenu, veliki poslovni poslužitelji najavljeni u siječnju sada su certificirani za pokretanje softverskog paketa Nvidia AI Enterprise, koji je ekskluzivno certificiran za VMware vSphere7.

AI-on-5G partnerstva 

Platforma EGX platforme idealna je za Nvidijin Aerial SDK, razvojni komplet za softverski definirane 5G virtualne radijske mreže (vRAN).

"Aerial 5G stack omogućit će nam da proširimo [AI] sve do poslovne rubne industrije... gdje će umjetna inteligencija imati najveći utjecaj", rekao je Huang ovaj tjedan novinarima. "Zdravstvo, skladišna logistika, proizvodnja, maloprodaja... do sada nismo imali mogućnost unijeti AI u [ove] industrije." 

Nvidia najavio niz partnera koji razvijaju rješenja za Nvidijinu "AI-on-5G platformu" -- koja se sastoji od EGX platforme, Aerial SDK-a i poslovnih AI aplikacija kao što su Nvidia Isaac SDK. Fujitsu, Google Cloud, Mavenir, Radisys i Wind River razvijaju rješenja za platformu.

Fino podesite AI modele s TAO-om

Nvidia se upušta u "potpuno novi pothvat... nazvanih prethodno obučenih modela", rekao je Huang ovaj tjedan novinarima. "Oni su kao novi diplomci... osposobljeni za različite zadatke i vještine."

Kupci mogu odabrati unaprijed obučene neuronske mreže iz NGC katalog. Proširuju spektar poslova umjetne inteligencije od računalnog vida i konverzacijske umjetne inteligencije do razumijevanja prirodnog jezika. Odatle kupac može fino prilagoditi model kako bi zadovoljio svoje specifične potrebe koristeći Nvidia TAO.

TAO omogućuje prijenos učenja -- preuzimanje značajki iz postojeće neuronske mreže i njihov prijenos u novu. Iskorištava male skupove podataka koje korisnici imaju pri ruci kako bi modele prilagodio prilagođenim potrebama.

Sigurnosni okvir podatkovnog centra Morpheus 

Nvidia najavljuje novi AI aplikacijski okvir za kibernetičku sigurnost pod nazivom Morpheus. Može izvršiti inspekciju svih paketa koji prolaze kroz podatkovni centar u stvarnom vremenu.

Implementacija Morpheusa sa sigurnosnim aplikacijama iskorištava Nvidia AI računalstvo, kao i BlueField-3 DPU. Budući da je BlueField zapravo a poslužitelj koji radi na rubu svakog poslužitelja podatkovnog centra, djeluje kao senzor za praćenje cjelokupnog prometa između svih spremnika i VM-ova u podatkovnom centar. Šalje telemetrijske podatke EGX poslužitelju radi dublje analize. Koristeći AI na EGX poslužitelju, može pregledati svaki paket za nešifrirane podatke, na primjer.

Dobavljači hardvera, softvera i kibernetičke sigurnosti surađuju s Nvidijom na optimizaciji i integraciji sigurnosnih ponuda podatkovnih centara s okvirom Morpheus AI. To uključuje ARIA Cybersecurity Solutions, Cloudflare, F5, Fortinet i Guardicore. Dobavljači platformi za hibridni oblak Canonical, Red Hat i VMware također surađuju s Nvidijom.

Jarvis dostupnost

Nvidia je objavila da je njezin Jarvis razgovorni AI okvir sada dostupan svima na NGC platformi. Programeri mogu pristupiti unaprijed obučenim modelima dubokog učenja i softverskim alatima za stvaranje interaktivnih konverzacijskih AI usluga.

Jarvisovi modeli nude vrlo precizno automatsko prepoznavanje govora, razumijevanje jezika u stvarnom vremenu prijevodi za više jezika i nove mogućnosti pretvaranja teksta u govor za AI za razgovor agenti. Koristeći GPU ubrzanje, cjevovod govora od kraja do kraja (slušanje, razumijevanje i generiranje odgovora) može se pokrenuti za manje od 100 milisekundi.

Tisuće tvrtki zatražilo je pridruživanje Jarvisovom programu ranog pristupa otkad je počeo prošlog svibnja, s T-Mobileom kao jednim od njegovih prvih korisnika, priopćila je Nvidia.

Platforma DRIVE Atlan, više vijesti iz automobilizma 

NVIDIA je najavila sljedeću generaciju svoje DRIVE platforme pod nazivom Atlan. To je prvi 1000-TOPS automobilski procesor, koji nudi 4x povećanje performansi u odnosu na prethodnu generaciju Orina.

Atlan SOC također ima sljedeću generaciju GPU arhitekture, nove Arm CPU jezgre, novo duboko učenje i akceleratore računalnog vida. Opremljen je BlueFieldom, s potpunom programiranošću potrebnom za sprječavanje upada podataka i kibernetičkih napada.

Nvidia cilja na modele proizvođača automobila za 2025. s novim SOC-om, osiguravajući da neće kanabalizirati prodaju Orina, prethodne generacije platforme. Platformu Orin (254 TOPS) već su odabrali vodeći proizvođači automobila za proizvodne rokove koji počinju 2022. godine.

Nvidia je također rekla da Volvo Cars proširuje svoju suradnju s tvrtkom na korištenje Orin SOC-a za napajanje računala za autonomnu vožnju u sljedećoj generaciji Volvo modela. Očekuje se da će prvi automobil s ovim SOC-om biti Volvo XC90 sljedeće generacije.

U međuvremenu, Nvidijin DRIVE Sim sada pokreće Omniverse visokovjerna simulacija autonomnog vozila. Može generirati skupove podataka za treniranje sustava percepcije vozila i osigurati virtualni poligon za testiranje procesa donošenja odluka u vozilu. Platforma se može spojiti na AV stack u konfiguracijama softvera u petlji ili hardvera u petlji kako bi se testiralo potpuno iskustvo vožnje.

Prognoza povećanih prihoda za 1. tromjesečje 2022

Tijekom svoje godišnje konferencije Investor Day, Nvidia povisio je očekivanja prihoda u prvom kvartalu fiskalne 2022, navodeći bolju izvedbu na sve četiri svoje tržišne platforme. Prethodno je tvrtka dala izglede od 5,3 milijarde dolara prihoda, plus ili minus 2 posto, za prvo tromjesečje.

Nvidijine tržišne platforme uključuju igre, podatkovne centre, profesionalnu vizualizaciju i automobile. Tvrtka također podiže svoje izglede za prihod od svog novog procesora za rudarenje kriptovaluta na 150 milijuna dolara, sa 50 milijuna dolara.

„Unutar Data Centra imamo dobru vidljivost i očekujemo još jednu snažnu godinu. Industrije sve više koriste umjetnu inteligenciju kako bi poboljšale svoje proizvode i usluge", rekla je u izjavi Colette Kress, Nvidia EVP i CFO. "Očekujemo da će to dovesti do povećane potrošnje naše platforme putem pružatelja usluga u oblaku, što će rezultirati sve većim kupnjama tijekom godine. Naša EGX platforma ima snažan zamah i očekujemo da će to potaknuti povećanje prihoda od implementacije poslovnih i rubnih računalstva u drugoj polovici godine."