Das KI-Chip-Startup NeuReality stellt seine objektorientierte Hardwarearchitektur NR1-P vor

Der Bereich der KI-Chips boomt, und Innovationen kommen neben den üblichen Verdächtigen auch von einer Reihe von Start-ups. Vielleicht haben Sie noch nie davon gehört NeuReality schon früher, aber es ist wahrscheinlich, dass Sie nach heute noch mehr darüber hören werden.

NeuReality ist ein 2019 in Israel gegründetes Startup. Heute hat das Unternehmen NR1-P angekündigt, das es als neuartige KI-zentrierte Inferenzplattform bezeichnet. Das ist eine kühne Behauptung für ein bisher Unbekanntes, und es dauert nur sehr kurze Zeit, bis es soweit ist – auch wenn es die erste von weiteren Implementierungen ist, die folgen werden.

ZDNet Kontaktieren Sie den CEO und Mitbegründer von NeuReality, Moshe Tanach, um mehr zu erfahren.

Von Branchenveteranen gegründet

Tanach verfügt über mehr als 20 Jahre Erfahrung im Bereich Halbleiter und Systeme und hat an Lösungen von der Datenverarbeitung und drahtlosen Kommunikation bis hin zur Vernetzung und Speicherung von Rechenzentren gearbeitet. Er und seine Mitbegründer, VP Operations Tzvika Shmueli und VP VLSI Yossi Kasus, haben eine lange Geschichte und verfügen über eine beeindruckende Liste früherer Erfahrungen in Schlüsselpositionen.

Habana Labs, Intel, Marvell und Mellanox sind einige der Unternehmen, in denen die Gründer von NeuReality gearbeitet haben. Xilinx ist auch ein wichtiger Partner für NeuReality, wie Tanach erklärte. Zu diesem Zeitpunkt ist NR1-P als Prototyp auf Xilinx-FPGAs implementiert. Ziel ist es, NR1-P schließlich als System-on-Chip (SoC) zu implementieren.

NeuReality hat bereits damit begonnen, Kunden und Partnern NR1-P vorzuführen, die Namen wurden jedoch nicht bekannt gegeben. Das Unternehmen behauptet, dass die Prototyp-Plattform seine Technologie validiert und es Kunden ermöglicht, sie in orchestrierte Rechenzentren und andere Einrichtungen zu integrieren.

Tanach brachte die Philosophie von NeuReality auf den Punkt, indem er sagte, dass Systeme und Halbleiter von außen nach innen entworfen werden sollten: „Man muss das System verstehen.“ Wenn man das System bauen kann, wie es Qualcomm tut, bauen sie ein Telefon und eine Basisstation, um die besten Chips für Telefone herzustellen.“

NeuReality hat sich von Anfang an dafür entschieden, sich ausschließlich auf Inferenz-Workloads zu konzentrieren. Wie Tanach feststellte, hat die Beschäftigung mit dem Training von KI-Modellen viel Aufmerksamkeit erregt und zu sehr teuren Computer-Pods geführt, die hervorragende Ergebnisse beim Training von Modellen erzielen.

Wenn Sie jedoch die Verwendung von KI in realen Anwendungen vorantreiben, müssen Sie darauf achten, wie das Modell bereitgestellt und verwendet wird – daher die Schlussfolgerung. Und wenn Sie versuchen, einen teuren Pod zu verwenden, bleiben die Kosten für jede KI-Operation sehr hoch und es ist schwierig, die beiden Probleme gemeinsam zu lösen.

Diese Philosophie war auch Teil dessen, was Dr. Naveen Rao, ehemalige General Managerin der AI Products Group von Intel, in den Vorstand von NeuReality brachte. Rao war der Gründer von Nervana wurde 2016 von Intel übernommen. Während meiner Arbeit bei Intel, Rao hatte zwei Produktlinien, eine für Schulungen und eine für Schlussfolgerungen.

Das Pendel der Berechnung

Rao schätzt die „frische Sichtweise“ von NeuReality, wie Tanach es ausdrückte. Aber was genau bedeutet das? NR1-P setzt stark auf FPGA-Lösungen, weshalb die Partnerschaft mit Xilinx sehr wichtig ist. Tanach bemerkte, dass Xilinx nicht nur programmierbare Logik und FPGA ist:

„Wenn man sich anschaut, wie ihre fortschrittlichen FPGAs heute gebaut sind, handelt es sich um ein System auf einem Chip. Sie verfügen über ARM-Prozessoren in ihrer neuesten Versal ACAP-Technologie. Sie haben auch eine Reihe von VLAW-Engines integriert, die Sie programmieren können. Und gemeinsam mit ihnen konnten wir ein 16-Karten-Servergehäuse bauen, das sehr leistungsstark ist.“

NeuReality implementierte NR1-P in Xilinx-FPGAs, sodass sie nichts herstellen mussten – sie bauten nur das Gehäuse. Wie Tanach feststellte, arbeiteten sie mit Xilinx zusammen und entwickelten eine autonome Inferenz-Engine, die im FPGA implementiert ist. Ein SoC ist in der Entwicklung und wird Anfang 2022 eingeführt.

Das bedeutet, dass NR1-P nicht auf eingebettete Chips abzielt, da es nicht praktikabel wäre, dafür FPGAs zu verwenden. Selbst wenn der SoC vorhanden ist, wird NeuReality weiterhin auf Near-Edge-Lösungen abzielen:

„Edge-Geräte benötigen noch optimiertere Lösungen, die speziell auf die Bedürfnisse des Geräts zugeschnitten sind. Sie müssen Dinge in Mikrowatt, Milliwatt oder weniger als 50 Milliwatt tun. Aber es gibt das Pendel der Berechnung. Der aktuelle Trend geht dahin, immer mehr Rechenleistung in die Cloud zu verlagern. Aber wir beginnen zu sehen, dass das Pendel zurückkommt.

Ansehen Microsoft- und AT&T-Deal viele Rechenzentren in den gesamten USA in AT&T-Einrichtungen zu errichten, um mehr Rechenleistung näher an den Rand zu bringen. Viele IoT-Geräte werden aus Kosten- und Leistungsgründen nicht in der Lage sein, KI-Funktionen einzubetten, sodass sie einen Rechenserver benötigen, der sie näher an ihrem Standort bedient. Der gesamte Weg in die Cloud und zurück führt zu hoher Latenz.“

Eine objektorientierte Hardwarearchitektur

Die „geheime Soße“ von NeuReality ist laut Tanach konzeptionell einfach: andere Deep-Learning-Beschleuniger da draußen können einen sehr guten Job machen, indem sie die Verarbeitung des neuronalen Netzes von der Anwendung entlasten, aber es handelt sich dabei um PCI-Geräte. Sie müssen im gesamten Server installiert werden, und das kostet viel.

Die CPU ist das Zentrum des Systems und wenn sie Dinge auslagert, führt sie den Treiber des Geräts aus. Das ist bei NeuReality nicht der Fall. NR1-P ist ein autonomes Gerät, das mit dem Netzwerk verbunden ist. Es verfügt über alle Datenpfadfunktionen, sodass diese nicht in Software ausgeführt werden müssen. Dieser Engpass wird beseitigt, sodass keine zusätzlichen Geräte erforderlich sind. Tanach bezeichnete dies als objektorientierte Hardware:

„Das Hauptziel hier ist die KI-Rechenmaschine. Wir verwenden seit langem objektorientierte Software und sie hat die Art und Weise, wie wir Dinge programmieren, verändert. Wir umhüllen das Hauptobjekt mit den Funktionen, die es benötigt. Es ist an der Zeit, Hardware zu entwickeln, die das Gleiche leistet. Wenn Sie in K.I. investieren möchten Computer-Engines, machen Sie es zur Hauptsache.

Ein weiteres Thema, das Tanach ansprach, ist das verwendete Kommunikationsprotokoll. Inferenzlösungen wie Nvidia nutzen REST-APIs, was eine sehr kostspielige Vernetzung mit sich bringe, bemerkte er. NeuReality hat andere Möglichkeiten, dies zu tun, die sie in Zukunft offenlegen werden.

Nicht zuletzt ist auch die Elastizität und Auslastung in Cloud-Rechenzentren wichtig. Bestehende Deep-Learning-Beschleuniger passen nicht in diese Gleichung, sagte Tanach. Kubernetes Verbindungen, Kommunikation mit dem Orchestrator, all dies erfolgt auf der CPU, die diese Deep-Learning-Beschleuniger hostet. NeuReality integriert diese Funktionen in das Gerät.

All dies bedeute sehr niedrige Kosten für den KI-Inferenzbetrieb, sowohl hinsichtlich der Kapitalkosten als auch der Betriebskosten, fügte Tanach hinzu. Derzeit können FPGAs in Rechenzentren und anderen Orten eingesetzt werden 5G-Basisstationen wo Macht weniger ein Problem darstellt. Der SoC wird in zwei Varianten erhältlich sein, eine für Rechenzentren und eine weitere für niedrigere Kosten und Leistungsspezifikationen für Knoten, die näher am Rand liegen.

NeuReality behauptet eine 15-fache Leistungssteigerung pro Dollar im Vergleich zu den verfügbaren GPUs und ASICs, die von Anbietern von Deep-Learning-Beschleunigern angeboten werden. Auf die Frage nach einer Referenz für diese Behauptungen erwähnte Tanach die Verwendung MLPerf als Grundlage für das interne Benchmarking. NeuReality wird in Kürze vorgeschlagene Updates für MLPerf veröffentlichen, fügte Tanach hinzu.

Anfangszeit

Neben der Bereitstellung seines SoC arbeitet NeuReality auch an der Bereitstellung seines Software-Stacks. Das Ziel besteht darin, mit jedem Framework für maschinelles Lernen arbeiten zu können, das die Leute verwenden PyTorch oder TensorFlow oder irgendetwas anderes. Tanach bemerkte das ONNX macht dies einfacher, und NeuReality investiert in Software.

Die Zukunft des KI-Computing-Offloads bestehe darin, die Pipeline vollständig auszulagern, fügte er hinzu. Das Versprechen ist, dass der Software-Stack von NeuReality eine Compute-Graph-Darstellung unterstützen wird, die dies ermöglicht. Auf Kundenseite zielt NeuReality auf drei Segmente ab.

Hyperscaler und Next-Wave-Cloud-Dienstleister, Lösungsanbieter, die Rechenzentren für Kunden wie das Militär, Regierungen und die Finanzindustrie bauen, und nicht zuletzt OEMs.

Die heutige Ankündigung folgt der von NeuReality Auftauchen aus der Tarnung im Februar 2021 mit einer Startkapitalinvestition in Höhe von 8 Millionen US-Dollar. Zugegebenermaßen steckt NeuReality noch in den Kinderschuhen. Der Hintergrund und die ersten Anzeichen des Unternehmens lassen jedoch darauf schließen, dass es sich lohnt, es im Auge zu behalten.