Nvidia's Omniverse: De metaverse is een netwerk, geen bestemming

Toen het afgelopen najaar voor het eerst werd geïntroduceerd door Mark Zuckerberg van Meta, er heerste scepsis in sommige hoeken over de metaverse, de systemen van avatars en virtuele werelden die Zuckerberg aan het bouwen is en waarvan hij zegt dat het de volgende versie van internet zal zijn.

Richard Kerris, die een team van honderd mensen leidt bij chipgigant Nvidia die werken aan het bouwen van technologie voor de metaverse, bekend als Omniverse (meer hier), is helemaal niet sceptisch over die toekomstige wereld.

Over één ding twijfelt hij echter.

"Het enige waar ik sceptisch over ben, is hoe mensen erover praten," vertelde Kerris ZDNet, op een recente reis door New York City om ontwikkelaars te ontmoeten.

"Mensen interpreteren metaverse verkeerd als een bestemming, een virtuele wereld, dit of dat," merkte Kerris op. "De Metaverse is geen plaats, het is het netwerk voor de volgende versie van het web.

"Vervang gewoon het woord metaverse door het woord netwerk, het zal beginnen te bezinken."

Het netwerk, in de zin dat Kerris het gebruikt, is een soort pezige technologie die rijke media op veel websites, vooral 3D-inhoud, zal samenbinden.

Ook: Op CES 2022 zet Nvidia overal de toon voor AI

"Op ongeveer dezelfde manier verenigde het web zoveel dingen […] de volgende generatie van dat web, de onderliggende kern principes daarvan zullen 3D zijn, en daarmee komt de uitdaging om dat alomtegenwoordig te maken tussen virtueel s werelds.

"Het eindresultaat zou zijn, op ongeveer dezelfde manier waarop je van elk apparaat naar elke website kunt gaan zonder iets in te laden - onthoud de oude dagen - Welke browser heb je? Welke extensie?, enz. — dat ging allemaal weg toen HTML werd geratificeerd. Als we dat kunnen doen met 3D, zal het transformerend zijn."

Het is geen verrassing dat Kerris van Nvidia is, dat de overgrote meerderheid van grafische chips (GPU's) verkoopt om 3D weer te geven, zei: "We leven in een 3D-wereld; we denken in 3D", maar het web is een 2D-realiteit. "Het is beperkt", zei hij, met eilanden van 3D-renderingmogelijkheden die nooit onderling verbonden zijn.

Ook: Nvidia breidt Omniverse uit met een nieuwe GPU, nieuwe samenwerkingen

"De consistentie van de verbonden werelden is wat de magie is die plaatsvindt", zei hij. "Ik kan van de ene wereld naar de andere teleporteren, en ik hoef het niet elke keer dat ik het bouw te beschrijven."

De analoog van HTML voor dit nieuwe 3D-ecosysteem is iets dat USD wordt genoemd, universele scènebeschrijving. Als ZDNetvan Stephanie Condon heeft geschreven, USD is een uitwisselingsraamwerk dat in 2012 door Pixar is uitgevonden en in 2016 als open-sourcesoftware is uitgebracht en een gemeenschappelijke taal biedt voor het definiëren, verpakken, assembleren en bewerken van 3D-gegevens.

(Kerris, een Apple-veteraan, heeft iets van een spirituele, zo niet echte band met Pixar, nadat hij in het begin van de jaren een aantal jaren bij LucasFilm heeft gewerkt. Zie meer in zijn LinkedIn-profiel.) 

USD is in staat om talloze dingen in een 3D-omgeving te beschrijven, van verlichting tot het natuurkundige gedrag van vallende objecten.

In de praktijk stelt Kerris zich de door het Omniversum ondersteunde, door de USD gedefinieerde metaverse voor als een roadtrip waarbij mensen net zo moeiteloos van de ene 3D-wereld naar de volgende springen als op traditionele sites. "Ik kan van een virtuele fabriek naar een virtueel resort gaan, naar een virtuele conferentieruimte, naar een virtueel ontwerpcentrum, naar wat dan ook", zei Kerris.

Ook: Nvidia's nieuwe Omniverse-tools zullen het makkelijker dan ooit maken om virtuele werelden te bouwen

Binnen die omgevingen zal 3D-rendering mensen in staat stellen voorbij het omslachtige sneakernet van het delen van bestanden te gaan. "En het biedt veel meer mogelijkheden in wat ik doe", zei hij, het voorbeeld gevend van productontwerpers.

"Met metaverse, en alomtegenwoordig loodgieterswerk voor 3D, zullen we tegelijkertijd in die 3D-omgeving zijn, en in plaats van een webpagina te delen, kunnen we ons verplaatsen. U kunt iets aan deze kant van het product bekijken. Ik kan naar iets anders kijken, maar het is alsof we tegelijkertijd in dezelfde kamer zijn."

Nvidia, zei Kerris, begon zes of zeven jaar geleden met USD "omdat we alles wat we bouwen [bij Nvidia] simuleren voordat we het in de fysieke wereld bouwen", zei hij. Nvidia heeft branchegenoten die werken aan het realiseren van technologie, waaronder Ericsson, dat antennes wil simuleren. "Ze willen allemaal een realiteitssimulatie", zei hij over bedrijven in de USD-fold.

Met behulp van de technologie, zei Kerris, kan men veel dieper ingaan op het gebied van digitale tweelingen, simulaties van producten en structuren die interventie, experimenten en observatie mogelijk maken.

"Tot de komst van consistent sanitair werd het op een representatieve manier gedaan", zei hij, zoals een illustratie van een gebouw in Autodesk. "Het klopte niet met de werkelijkheid. Ik zou je niet precies kunnen laten zien hoe het zou zijn in een storm", wat niet goed is, want, zoals hij het uitdrukte, "ik wil verdomd eerlijk zijn over dingen die ik aan het bouwen ben in de fysieke wereld."

De 'kernbasis van een situatie die waarheidsgetrouw is', waarbij USD wordt gebruikt, stelt ontwerpers in staat nauwkeuriger achterwaarts en voorwaarts te simuleren, inclusief zaken als treksterkte.

"Ik zou graag een huis hebben dat structureel gezond is voordat ik de marmeren afwerking ontwerp", merkte hij op. "Als ik een digitale tweeling aan het bouwen ben van een huis dat ik aan het bouwen ben, zijn het daar lagen dingen, dingen voor bouwkundig ingenieurs en polijsten die anderen zijn komt binnen en eindigt." Het belangrijkste is weten dat het "trouw is aan de werkelijkheid" voor materialen en dingen die de structuur bij elkaar houden, hij gezegd.

Door die rijkere interacties in 3D mogelijk te maken, zei Kerris: "Op dezelfde manier waarop het web bedrijven heeft getransformeerd, en ervaringen en communicatie, dus zal de metaverse dat doen, en in een meer vertrouwde omgeving, omdat we er allemaal in werken 3D."

Verschillende bedrijven dragen op verschillende manieren bij aan USD. Nvidia heeft bijvoorbeeld met Apple samengewerkt om de zogenaamde rigide lichaamsdynamiek te definiëren.

"En er komt nog meer", zei hij.

Nvidia heeft de Omniverse-tools ontwikkeld als een 'platform', wat Kerris 'het besturingssysteem voor de metaverse' noemt.

"Mensen kunnen erop inhaken. Ze kunnen er bovenop bouwen. Daar kunnen ze zich op aansluiten. Ze kunnen het aanpassen - het staat echt tot hun beschikking, net zoals een besturingssysteem dat tegenwoordig is."

De USD-standaard is "behoorlijk ver" gekomen in termen van acceptatie, zei Kerris, en de meeste 3D-bedrijven gebruiken het. "Elk entertainmentbedrijf heeft tegenwoordig een USD-strategie", merkte hij op. "De CAD [computerondersteund ontwerp] en werktuigbouwkunde, het komt eraan. Ze hebben plannen of ze helpen mee om te bepalen wat nodig is."

"HTML was vroeger hetzelfde", zei hij. Het ontbrak in het begin aan ondersteuning voor video, waarbij plug-ins van derden, zoals Adobe Flash, domineerden voordat de standaarden evolueerden.

Zullen digitale tweelingen de verbeelding van de wereld over de metaverse aanwakkeren? Het lijkt een beetje te industrieel gericht, ZDNet opgemerkt.

Gewone mensen zullen interesse krijgen als ze beseffen dat het verbondenheid is, niet een enkele bestemming. "Nu ze zich realiseren dat dit de volgende generatie van internet is, kan ik een externe locatie bezoeken zonder dat ik een headset nodig heb of [zonder] specifieke browsers te installeren. Dat is één aspect', zei Kerris. "In hun dagelijks leven, aangezien we vandaag foto's delen, kun je objecten delen. Weet je, je kind komt thuis, heeft iets gemaakt en kan het delen met de grootouders."

"Het wordt gewoon onderdeel van wat je doet, of je nu een meubelstuk voor je huis koopt en je telefoon gebruikt. Je synchroniseert met het huis. Je zet de meubels neer. Je loopt er omheen - dat is wat mensen als vanzelfsprekend beschouwen, maar het is de naadloze verbinding.

Hetzelfde voor het ontwerpen van iemands aangepaste auto-afwerking, bood hij aan. "Je bent echt verbonden met de fabriek die die auto maakt" om alle aspecten ervan te bekijken.

"Het gaat alles veranderen", zei hij.

Er zullen multiplier-effecten zijn, zei Kerris, omdat digitale tweelingen het mogelijk maken om meerdere scenario's uit te proberen, bijvoorbeeld met trainingsrobots.

"Vandaag zouden ze een computer op die robot aansluiten en informatie invoeren" om de robot in één fysieke ruimte te trainen, zei hij. In een digitale tweelingomgeving, met een robot in de gesimuleerde kamer, "Je kunt niet slechts één robot trainen, maar honderden", met behulp van "honderden scenario's die de robot zou kunnen tegenkomen".

"Nu wordt die robot duizenden keren slimmer dan hij zou zijn geweest als je hem maar één keer had getraind." Nvidia heeft inderdaad volgt die specifieke benadering al vele jaren door autonoom rijden te trainen of machine learning in gesimuleerde wegen omgevingen.

Hoewel autonoom rijden zijn beloofde ontwikkeling nog niet heeft bereikt, gelooft Kerris dat de aanpak nog steeds deugdelijk is. "Ik kan een digitale tweeling bouwen van Palo Alto", de stad in Silicon Valley. "En ik kan duizenden auto's in die simulatie laten rondrijden, en ik kan AI gebruiken om elke soort simulatie toe te passen die ik kan bedenken - een storm, een kind wegrennen, een bal achtervolgen, een olievlek, een hond - zodat deze auto's in simulatie duizenden keren meer scenario's leren dan een fysieke auto zou."

Nvidia heeft gewerkt aan het combineren van de gesimuleerde proeven met rijden in de echte wereld met autofabrikant Mercedes voor niveau 5 autonoom rijden, het meest veeleisende niveau.

"De efficiëntie is behoorlijk verbazingwekkend", zei hij, waarmee hij bedoelde hoe goed de autonome software omgaat met de wegscenario's. "Door synthetische data te gebruiken om deze auto's te trainen, heb je een hogere mate van efficiëntie" bij het combineren van scenario's.

"Ik zou mezelf veel liever vertrouwen in een auto die getraind is in een gesimuleerde omgeving dan [in] een getrainde in een fysieke omgeving." Er zal nog steeds een rol weggelegd zijn voor de gegevens uit de echte wereld die afkomstig zijn van auto's op de weg.

Wat betreft het tijdsbestek voor de visie, merkte Kerris op dat "we het al zien in magazijnen", die snel het regime van robottraining overnemen. Dat geldt ook voor Amazon, waar een ontwikkelaar Omniverse heeft gedownload en binnen Amazon heeft geëvangeliseerd. De bedrijfsversie van Omniverse, een op abonnementen gebaseerd product, werd door Amazon overgenomen voor uitgebreidere robottraining.

Amazon is momenteel in productie met de software voor zijn pick-and-place-robots.

"Het mooie is dat ze ontdekten dat ze door synthetische gegevensgeneratie te gebruiken, efficiënter met dingen konden omgaan in plaats van alleen op de camera te vertrouwen" op de robot voor objectdetectie. Die camera's zouden vaak struikelen door reflecterende verpakkingstape op pakketten, zei Kerris. Door synthetische, door Omniverse gegenereerde gegevens te gebruiken, kon die beperking worden omzeild. Dat is een voorbeeld van efficiënter zijn in robotica, zei hij.

Consumenten zullen waarschijnlijk de effecten van dergelijke simulaties voelen in de resultaten.

"Er zijn honderdduizend magazijnen op de planeet," zei Kerris. "Ze kijken allemaal naar het gebruik van robotica om veiliger en efficiënter te zijn en de ruimte beter te benutten." Mensen "zijn zich er misschien niet van bewust dat dit gebeurt, maar ze zullen er de vruchten van plukken."

In sommige situaties zullen consumenten "het weten, omdat ze dingen veel sneller krijgen dan in het verleden", zei hij. "Achter het gordijn zullen de dingen veel efficiënter zijn dan zes maanden geleden." Hetzelfde geldt voor winkeliers zoals Kroger, dat Omniverse-tools gebruikt om synthetische gegevens te genereren om te plannen hoe de producten bij de consument kunnen worden gebracht sneller.

Wat betreft zelfrijdende auto's: "De veronderstelling dat al deze auto's vandaag autonoom zullen zijn, is een beetje - het is er nog niet", gaf hij toe. "Maar zullen we autonome taxi's hebben en dingen die ons van hier naar daar zullen brengen? Oh ja, dat is makkelijk." 

Maar: "Voor een auto die naar je toe rijdt en je autonoom naar New Jersey brengt? We hebben nog een kleine weg te gaan."

Wat betreft directe consumentenervaringen: "Mensen zullen de mogelijkheid gaan zien om locaties te ervaren", zei Kerris. Leidinggevenden in de vrijetijdsindustrie zijn bijvoorbeeld geïnteresseerd in hoe ze een hotelkamer kunnen laten zien aan consumenten voorafgaand aan een reis op een manier die beter is dan foto's. "Ik sta je toe om de kamer in te teleporteren, het te ervaren, dus je beslissing zal gebaseerd zijn op een meeslepende ervaring. Kijk naar het raam, kijk wat mijn uitzicht zal zijn," zei Kerris.

De impact op het onderwijs "zal enorm zijn", zei Kerris. Tegenwoordig betekent de fysieke locatie dat sommige scholen in de binnenstad misschien geen overdadige excursies meemaken. "Een school in de binnenstad gaat niet bepaald op excursie om een ​​safari in Afrika te doen", mijmerde hij. "Ik denk dat virtuele werelden [die] naadloos met elkaar verbonden zijn, nieuwe kansen kunnen bieden door iedereen dezelfde ervaring te laten hebben, ongeacht op welke school ze zitten." 

Een avatar van een onderzoeker zoals Jane Goodall zou 'leren kunnen inspireren', suggereerde hij. "Denk eens na wat dat met een student doet."

Terwijl hij de nadruk legt op 3D, pusht Kerris niet virtual reality of augmented reality, de twee technologieën waarop mensen zich meestal concentreren. Die dingen maken deel uit van de foto, maar 3D hoeft niet met een headset op te zijn, beweerde hij.

Om te beginnen zijn de VR-tools van vandaag, zoals VR-video's op YouTube die conventionele VR-headsets gebruiken, vrij beperkt, zei Kerris. "Het is niet naadloos; het is niet makkelijk; het is niet zoals een website," merkte hij op.

Naast functies bij Apple, Amazon en LucasFilm, leidde Kerris kort de marketing voor headsetontwikkelaar Avegant. Die headsets waren geen VR. Ze zijn gemaakt als privé, meeslepende filmschermen die aan je gezicht zijn bevestigd met DLP-projectiechips van Texas Instruments. De kwaliteit van het product, zei Kerris, "was fenomenaal", maar het was te duur om te maken en kostte $ 800 in de detailhandel. En het feit dat een laser op het netvlies zou projecteren "schrok iedereen", zei hij. (Avegante is nog steeds actief en ontwikkelt een technologie genaamd liquid crystal-on-silicon.)

Wat er moet gebeuren, is dat de ongelijksoortige virtuele omgevingen van vandaag dat pezige weefsel van USD en aanverwante technologie ontvangen. "Ze zijn allemaal losgekoppeld", zei Kerris over de proto-metaverse van vandaag, zoals Oculus Rift. "Als het gewoon eenvoudige websites waren, waar je rond kon dobberen en het kon ervaren, zou de kans veel groter zijn." 

In plaats van een Oculus-headset te hebben, "Als ik het zou kunnen ervaren met dit als een venster in die wereld,' zei hij terwijl hij zijn smartphone omhoog hield, 'is de kans veel groter dat ik het ga checken uit."

Zal USD dat mogelijk maken?

"Ja. Dat is absoluut het doel van USD om virtuele 3D-werelden te verenigen."

Toch klinkt het tonen van hotelkamers niet alsof het de zaken een vliegende start zal geven. Wanneer is het Tim Berners-Lee-evenement dat het allemaal op een grassroots-manier voor consumenten zal laten gebeuren?

"Wanneer werd het web iets dat alomtegenwoordig werd bij consumenten?" vroeg hij retorisch. "Nou, het begon met e-mail, toen kon ik een foto sturen en toen kon ik ineens video maken. Het is gaandeweg geëvolueerd."

Kerris zinspeelde op de begindagen van mobiele websites op de iPhone, toen Steve Jobs voor het eerst de technologie in januari 2007 op het podium van Macworld, toen Kerris bij Apple was, en later tijdens een videochat via FaceTime,

"Wat was het transformerende ding dat ervoor zorgde dat het web in ieders zak zat? Het is een beetje zoals dat," zei hij. "Het gebeurde bijna terwijl je het niet wist, en dan nemen mensen het als vanzelfsprekend aan."