Nvidias Omniversum: Das Metaversum ist ein Netzwerk, kein Ziel

Als es letzten Herbst erstmals von Mark Zuckerberg von Meta vorgestellt wurde, Es gab Skepsis in einigen Ecken über das Metaversum, die Systeme aus Avataren und virtuellen Welten, die Zuckerberg aufbaut und von denen er sagt, dass sie die nächste Version des Internets sein werden.

Richard Kerris, der beim Chipgiganten Nvidia ein Team von hundert Leuten leitet, die an der Entwicklung der Technologie für das Metaversum, bekannt als Omniverse, arbeiten (mehr

Hier), ist überhaupt nicht skeptisch gegenüber dieser zukünftigen Welt.

In einer Sache ist er allerdings skeptisch.

„Das Einzige, worüber ich skeptisch bin, ist die Art und Weise, wie die Leute dazu neigen, darüber zu reden“, sagte Kerris ZDNet, auf einer kürzlichen Reise durch New York City, um sich mit Entwicklern zu treffen.

„Menschen interpretieren Metaversum falsch als Ziel, als virtuelle Welt, als dies oder das“, bemerkte Kerris. „Das Metaverse ist kein Ort, es ist das Netzwerk für die nächste Version des Web.“

„Ersetzen Sie einfach das Wort „Metaversum“ durch das Wort „Netzwerk“, dann wird es Ihnen schnell in den Sinn kommen.“

Das Netzwerk, in dem Sinne, wie Kerris es nutzt, ist eine Art sehnige Technologie, die Rich Media auf vielen Websites, insbesondere 3D-Inhalte, miteinander verbindet.

Auch: Auf der CES 2022 bereitet Nvidia die Bühne für KI überall

„In ähnlicher Weise vereinte das Web so viele Dinge […] die nächste Generation dieses Webs, den zugrunde liegenden Kern Die Grundprinzipien davon werden 3D sein, und damit verbunden ist die Herausforderung, dies allgegenwärtig zwischen virtuell zu machen Welten.

„Das Endergebnis wäre, dass man von jedem Gerät auf jede Website wechseln kann, ohne etwas laden zu müssen – erinnern Sie sich an die alten Zeiten – Welchen Browser hast du? Welche Erweiterung? usw. — All das verschwand mit der Ratifizierung von HTML. Wenn wir das mit 3D machen können, wird es transformativ sein.“

Kein Wunder, dass Kerris von Nvidia, das die überwiegende Mehrheit der Grafikchips (GPUs) zum Rendern von 3D verkauft, darauf hingewiesen hat: „Wir leben in einer 3D-Welt; „Wir denken in 3D“, aber das Web ist eine 2D-Realität. „Es ist begrenzt“, sagte er, mit Inseln von 3D-Rendering-Funktionen, die nie miteinander verbunden sind.

Auch: Nvidia erweitert Omniverse um eine neue GPU, neue Kooperationen

„Die Konsistenz der verbundenen Welten ist die Magie, die hier stattfindet“, sagte er. „Ich kann mich von einer Welt in eine andere teleportieren und muss es nicht jedes Mal beschreiben, wenn ich es baue.“

Das Analogon zu HTML für dieses neue 3D-Ökosystem ist etwas namens USD, universelle Szenenbeschreibung. Als ZDNetDas ist Stephanie Condon hat geschriebenUSD ist ein 2012 von Pixar erfundenes Austausch-Framework, das 2016 als Open-Source-Software veröffentlicht wurde und eine gemeinsame Sprache zum Definieren, Packen, Zusammenstellen und Bearbeiten von 3D-Daten bereitstellt.

(Kerris, ein Apple-Veteran, hat so etwas wie eine spirituelle, wenn nicht sogar tatsächliche Verbindung zu Pixar, da er in den frühen Nullerjahren mehrere Jahre bei LucasFilm gearbeitet hat. Weitere Informationen finden Sie in seinem LinkedIn-Profil.) 

USD ist in der Lage, zahlreiche Dinge in einer 3D-Umgebung zu beschreiben, von der Beleuchtung bis zum physikalischen Verhalten fallender Objekte.

In der Praxis stellt sich Kerris das Omniverse-fähige, USD-definierte Metaversum als einen Roadtrip vor, bei dem Menschen so mühelos von einer 3D-Welt zur nächsten springen, als würden sie auf traditionellen Websites surfen. „Ich kann von einer virtuellen Fabrik zu einem virtuellen Resort, zu einem virtuellen Konferenzraum, zu einem virtuellen Designzentrum oder zu was auch immer wechseln“, sagte Kerris.

Auch: Die neuen Omniverse-Tools von Nvidia machen es einfacher als je zuvor, virtuelle Welten zu erstellen

In diesen Umgebungen wird das 3D-Rendering es den Menschen ermöglichen, das umständliche Netz der Dateifreigabe zu überwinden. „Und es ermöglicht mir viel mehr Möglichkeiten in dem, was ich tue“, sagte er und führte das Beispiel von Produktdesignern an.

„Mit dem Metaversum und der allgegenwärtigen Installation von 3D werden wir uns gleichzeitig in dieser 3D-Umgebung befinden, und anstatt eine Webseite zu teilen, können wir uns bewegen.“ Auf dieser Seite des Produkts können Sie sich etwas ansehen. Ich kann etwas anderes betrachten, aber es ist, als wären wir zur gleichen Zeit im selben Raum.

Nvidia, sagte Kerris, habe den Weg zum USD vor sechs oder sieben Jahren eingeschlagen, „weil wir alles, was wir [bei Nvidia] bauen, simulieren, bevor wir es in der physischen Welt bauen“, sagte er. Nvidia hat Branchenkollegen, die an der Realisierung der Technologie arbeiten, darunter Ericsson, das Antennen simulieren will. „Sie alle wollen eine Realitätssimulation“, sagte er über Unternehmen im USD-Umfeld.

Mithilfe der Technologie, sagte Kerris, könne man viel tiefer in den Bereich digitaler Zwillinge vordringen, Simulationen von Produkten und Strukturen, die Eingriffe, Experimente und Beobachtungen ermöglichen.

„Bis zum Aufkommen einheitlicher Klempnerarbeiten erfolgte dies im repräsentativen Modus“, sagte er, beispielsweise anhand der Abbildung eines Gebäudes in Autodesk. „Es entsprach nicht der Realität. Ich konnte Ihnen nicht genau zeigen, wie es bei einem Sturm wäre“, was nicht gut ist, denn wie er es ausdrückte: „Ich möchte verdammt ehrlich sein, was die Dinge angeht, die ich in der physischen Welt baue.“

Die „Kernbasis einer realitätsgetreuen Situation“, die Verwendung von USD, wird es Designern ermöglichen, rückwärts und vorwärts genauer zu simulieren, einschließlich Dingen wie der Zugfestigkeit.

„Ich hätte gerne ein Haus, dessen Struktur solide ist, bevor ich die Marmoroberfläche entwerfe“, bemerkte er. „Wenn ich einen digitalen Zwilling eines Hauses baue, das ich baue, sind es Schichten von Dingen, Dinge für Bauingenieure und der Feinschliff, den andere haben Ich werde reinkommen und fertig werden.“ Das Wichtigste ist, zu wissen, dass es „der Realität entspricht“, was die Materialien und Dinge betrifft, die die Struktur zusammenhalten, sagt er genannt.

Durch die Ermöglichung dieser umfassenderen Interaktionen in 3D sagte Kerris: „In der gleichen Weise, wie das Web Unternehmen verändert hat, und.“ Erfahrungen und Kommunikation, das wird auch das Metaversum tun, und zwar in einer vertrauteren Umgebung, weil wir alle darin arbeiten 3D.“

Verschiedene Unternehmen tragen auf unterschiedliche Weise zum USD bei. Beispielsweise hat Nvidia mit Apple zusammengearbeitet, um die sogenannte Starrkörperdynamik zu definieren.

„Und es kommt noch mehr“, sagte er.

Nvidia hat die Omniverse-Tools als „Plattform“ entwickelt, was Kerris als „das Betriebssystem für das Metaverse“ bezeichnet.

„Die Leute können sich daran anschließen. Sie können darauf aufbauen. Sie können sich damit verbinden. Sie können es anpassen – es steht ihnen wirklich zur Verfügung, ähnlich wie ein Betriebssystem heute.“

Der USD-Standard sei hinsichtlich der Akzeptanz „ziemlich weit gekommen“, sagte Kerris, da er von den meisten 3D-Unternehmen verwendet werde. „Jedes Unterhaltungsunternehmen hat heute eine USD-Strategie“, stellte er fest. „Das CAD (Computer Aided Design) und der Maschinenbau sind im Kommen. Entweder haben sie Pläne oder sie beteiligen sich an der Definition dessen, was nötig ist.“

„HTML war früher genauso“, sagte er. In der Anfangszeit fehlte die Unterstützung für Videos, da Plugins von Drittanbietern wie Adobe Flash dominierten, bevor sich Standards entwickelten.

Werden digitale Zwillinge die Fantasie der Welt über das Metaversum anregen? Es scheint etwas zu industrieorientiert zu sein, ZDNet beobachtet.

Normale Menschen werden Interesse wecken, wenn sie erkennen, dass es um Verbundenheit und nicht um ein einzelnes Ziel geht. „Da sie erkennen, dass es sich um die nächste Generation des Webs handelt, kann ich einen entfernten Standort besuchen, ohne dass ich ein Headset brauche oder [ohne] bestimmte Browser zu installieren.“ Das ist ein Aspekt“, sagte Kerris. „In ihrem Alltag, wenn wir heute Fotos teilen, können Sie Objekte teilen. Wissen Sie, Ihr Kind kommt nach Hause, hat etwas gemacht und kann es mit den Großeltern teilen.“

„Es wird einfach zu einem Teil Ihrer Arbeit werden, egal ob Sie ein Möbelstück für Ihr Haus kaufen und in Ihr Telefon einsteigen. Sie werden mit dem Zuhause synchronisiert. Sie bringen die Möbel vorbei. Man wird darum herumgehen – das ist für die Leute eine Selbstverständlichkeit, aber es ist die nahtlose Verbindung.“ 

Das Gleiche gilt für die Gestaltung der individuellen Autolackierung, bot er an. „Sie werden tatsächlich mit der Fabrik verbunden, die dieses Auto herstellt“, um alle Aspekte des Autos zu überprüfen.

„Es wird alles verändern“, sagte er.

Es werde Multiplikatoreffekte geben, sagte Kerris, da digitale Zwillinge es ermöglichen, mehrere Szenarien auszuprobieren, beispielsweise mit Trainingsrobotern.

„Heute würden sie einen Computer an diesen Roboter anschließen und ihm Informationen eingeben“, um den Roboter in einem physischen Raum zu trainieren, sagte er. In einer digitalen Zwillingsumgebung mit einem Roboter im simulierten Raum „kann man nicht nur einen, sondern Hunderte Roboter trainieren“, indem man „Hunderte von Szenarien nutzt, denen der Roboter begegnen könnte“.

„Jetzt wird dieser Roboter tausendmal schlauer sein, als wenn man ihn nur einmal trainiert hätte.“ Nvidia hat tatsächlich verfolgt diesen besonderen Ansatz seit vielen Jahren, indem es autonomes Fahrtraining mit maschinellem Lernen auf simulierten Straßen durchführt Umgebungen.

Auch wenn das autonome Fahren noch nicht die versprochene Entwicklung erreicht hat, ist Kerris davon überzeugt, dass der Ansatz immer noch sinnvoll ist. „Ich kann einen digitalen Zwilling von Palo Alto bauen“, der Stadt im Silicon Valley. „Und ich kann Tausende von Autos in dieser Simulation haben, die herumfahren, und ich kann KI verwenden, um jede Art von Simulation anzuwenden, die ich mir vorstellen kann – einen Sturm, ein Kind.“ Laufen, einen Ball jagen, einen Ölteppich, einen Hund – so dass diese Autos in der Simulation viele tausend Mal mehr Szenarien lernen als ein physisches Auto würde."

Nvidia hat daran gearbeitet, die simulierten Tests mit realen Fahrten mit dem Autohersteller Mercedes für autonomes Fahren der Stufe 5, der anspruchsvollsten Stufe, zu kombinieren.

„Die Effizienz ist ziemlich erstaunlich“, sagte er und meinte damit, wie gut die autonome Software die Straßenszenarien bewältigt. „Durch die Verwendung synthetischer Daten zum Trainieren dieser Autos erreicht man eine höhere Effizienz“ bei der Kombination von Szenarien.

„Ich traue mich viel lieber zu, in einem Auto zu fahren, das in einer simulierten Umgebung trainiert wurde, als in einem, das trainiert wurde.“ in einer physischen Umgebung.“ Es wird immer noch eine Rolle für die realen Daten geben, die von Autos auf der Straße stammen Straße.

Was den Zeitrahmen für die Vision anbelangt, bemerkte Kerris, dass „wir sie bereits in Lagerhäusern sehen“, in denen das Robotertrainingssystem rasch übernommen wird. Dazu gehört auch Amazon, wo ein Entwickler Omniverse heruntergeladen und innerhalb von Amazon verbreitet hat. Die Enterprise-Version von Omniverse, ein abonnementbasiertes Produkt, wurde von Amazon für umfassendere Roboterschulungen übernommen.

Amazon ist derzeit mit der Software für seine Pick-and-Place-Roboter in Produktion.

„Das Schöne ist, dass sie herausgefunden haben, dass sie durch die Generierung synthetischer Daten effizienter mit Dingen umgehen konnten, als sich nur auf die Kamera zu verlassen“, und zwar auf den Roboter zur Objekterkennung. Diese Kameras würden oft durch reflektierendes Paketband auf Paketen stolpern, sagte Kerris. Durch die Verwendung synthetischer, von Omniverse generierter Daten konnte diese Einschränkung umgangen werden. Das sei ein Beispiel für mehr Effizienz in der Robotik, sagte er.

Verbraucher werden die Auswirkungen solcher Simulationen wahrscheinlich in den Ergebnissen spüren.

„Es gibt hunderttausend Lagerhäuser auf dem Planeten“, sagte Kerris. „Sie alle streben nach dem Einsatz von Robotik, um sicherer und effizienter zu sein und den Raum besser zu nutzen.“ Die Menschen „merken vielleicht nicht, dass das passiert, aber sie werden davon profitieren.“

In manchen Situationen werden die Verbraucher „es wissen, weil sie die Dinge viel schneller bekommen als in der Vergangenheit“, sagte er. „Hinter den Kulissen wird es deutlich effizienter ablaufen als noch vor einem halben Jahr.“ Dasselbe gilt auch für Einzelhändler wie Kroger, das Omniverse-Tools verwendet, um synthetische Daten zu generieren und zu planen, wie die Produkte an die Verbraucher geliefert werden Schneller.

Was selbstfahrende Autos betrifft: „Die Annahme, dass alle diese Autos heute autonom sein werden, ist ein bisschen – sie ist noch nicht da“, räumte er ein. „Aber werden wir autonome Taxis haben und Dinge, die uns von hier nach dort bringen? Oh ja, das ist einfach.

Aber: „Für ein Auto, das auf Sie zufährt und Sie autonom nach New Jersey bringt?“ Wir haben noch einen kleinen Weg vor uns.“

Was die direkten Kundenerlebnisse betrifft, „werden die Menschen beginnen, die Möglichkeit zu erkennen, Orte zu erleben“, sagte Kerris. Führungskräfte der Freizeitbranche sind beispielsweise daran interessiert, den Verbrauchern vor einer Reise ein Hotelzimmer auf eine bessere Art und Weise als durch Fotos zu zeigen. „Ich erlaube Ihnen, sich in den Raum zu teleportieren und ihn zu erleben, sodass Ihre Entscheidung auf einem immersiven Erlebnis basiert. „Schauen Sie sich das Fenster an und sehen Sie, wie ich es sehen werde“, sagte Kerris.

Die Auswirkungen auf die Bildung „werden enorm sein“, sagte Kerris. Heutzutage bedeutet die physische Lage, dass einige Schulen in der Innenstadt möglicherweise keine aufwendigen Exkursionen durchführen. „Eine innerstädtische Schule wird nicht gerade einen Ausflug machen, um eine Safari in Afrika zu machen“, sinnierte er. „Ich denke, dass virtuelle Welten, die nahtlos miteinander verbunden sind, neue Möglichkeiten eröffnen können, indem sie es jedem ermöglichen, die gleiche Erfahrung zu machen, unabhängig von der Schule, die er besucht.“ 

Ein Avatar einer Forscherin wie Jane Goodall könnte „zum Lernen anregen“, schlug er vor. „Denken Sie darüber nach, was das für einen Schüler bedeutet.“

Obwohl Kerris den Schwerpunkt auf 3D legt, treibt er weder Virtual Reality noch Augmented Reality voran, die beiden Technologien, auf die sich die Leute eher konzentrieren. Diese Dinge seien Teil des Bildes, aber 3D müsse nicht unbedingt mit einem Headset erfolgen, behauptete er.

Zum einen seien die heutigen VR-Tools, wie beispielsweise VR-Videos auf YouTube, die herkömmliche VR-Headsets verwenden, recht begrenzt, sagte Kerris. „Es ist nicht nahtlos; es ist nicht einfach; Es ist nicht wie eine Website“, bemerkte er.

Neben Stationen bei Apple, Amazon und LucasFilm leitete Kerris kurzzeitig das Marketing für den Headset-Entwickler Avegant. Diese Headsets waren keine VR. Sie wurden als private, immersive Filmbildschirme konzipiert, die mit DLP-Projektionschips von Texas Instruments an Ihrem Gesicht befestigt werden. Kerris meinte, die Qualität des Produkts sei „phänomenal“, aber die Herstellung sei zu teuer und habe im Einzelhandel 800 US-Dollar gekostet. Und die Tatsache, dass ein Laser auf die Netzhaut projizieren würde, „machte allen Angst“, sagte er. (Avegante ist immer noch im Geschäft und entwickelt eine Technologie namens Flüssigkristall-auf-Silizium.)

Was passieren muss, ist, dass die unterschiedlichen virtuellen Umgebungen von heute das sehnige Gewebe von USD und verwandter Technologie erhalten. „Sie sind alle nicht miteinander verbunden“, sagte Kerris über das heutige Proto-Metaversum wie Oculus Rift. „Wenn es sich nur um einfache Websites handeln würde, auf denen man herumstöbern und es erleben könnte, wären die Chancen viel größer.“ 

Anstatt ein Oculus-Headset zu haben, „Wenn ich es mit einem Fenster erleben könnte.“ „Wenn ich in diese Welt komme“, sagte er und hielt sein Smartphone hoch, „sind die Chancen viel höher, dass ich es mir ansehen würde.“ aus."

Wird der USD dies ermöglichen?

"Ja. Das ist absolut das Ziel von USD, virtuelle 3D-Welten zu vereinheitlichen.“

Dennoch hört es sich nicht so an, als würde das Showrooming von Hotelzimmern die Dinge in Schwung bringen. Wann findet die Tim Berners-Lee-Veranstaltung statt, die den Verbrauchern alles auf Basis einer Basis ermöglichen wird?

„Wann wurde das Web zu etwas, das bei Verbrauchern allgegenwärtig wurde?“ fragte er rhetorisch. „Nun, es begann mit einer E-Mail, dann konnte ich ein Bild verschicken und plötzlich konnte ich ein Video machen.“ Es hat sich im Laufe der Zeit irgendwie weiterentwickelt.

Kerris spielte auf die Anfänge mobiler Websites auf dem iPhone an, als Steve Jobs diese erstmals vorstellte Technologie im Januar 2007 auf der Bühne der Macworld, als Kerris bei Apple war, und später in einem Video-Chat über FaceTime,

„Was war die transformative Sache, die es ermöglichte, dass das Web in jedermanns Tasche war? So ähnlich ist es“, sagte er. „Es ist fast passiert, als man es nicht wusste, und dann halten die Leute es für selbstverständlich.“