Cerebras hat gerade ein gigantisches Computersystem mit 27 Millionen KI-„Kernen“ gebaut

Die Leidenschaft umgibt künstliche Intelligenz „Es ist kein Silicon-Valley-Ding, es ist nicht einmal ein US-Ding, es ist jetzt auf der ganzen Welt – es ist ein globales Phänomen“, so Andrew Feldman, Mitbegründer und CEO des KI-Computing-Startups Cerebras Systeme.

In diesem Sinne, Cerebras am Donnerstag bekannt gegeben Es hat einen Vertrag über den Bau des sogenannten „weltweit größten Supercomputers für KI“ mit dem Namen Condor Galaxy abgeschlossen. im Auftrag seines Kunden G42, einer fünf Jahre alten Investmentfirma mit Sitz in Abu Dhabi, Vereinigte Arabische Emirate.

Auch:Laut einer Studie wird GPT-4 mit der Zeit deutlich dümmer

Die Maschine konzentriert sich auf das „Training“ neuronaler Netze, den Teil davon maschinelles Lernen Wenn ein neuronales Netzwerk seine Einstellungen vornimmt, müssen seine „Parameter“ oder „Gewichte“ auf ein Niveau abgestimmt werden, auf dem sie für die zweite Stufe ausreichen, um Vorhersagen zu treffen, die als „Inferenz“-Stufe bekannt ist.

Laut Feldman sei Condor Galaxy das Ergebnis monatelanger Zusammenarbeit zwischen Cerebras und G42 und die erste große Ankündigung ihrer strategischen Partnerschaft.

Der ursprüngliche Vertrag sei für Cerebras mehr als hundert Millionen Dollar wert, sagte Feldman gegenüber ZDNET in einem Interview. Da Cerebras Condor Galaxy in mehreren Phasen ausbaut, wird sich dieser Umsatz letztendlich um ein Vielfaches auf Hunderte Millionen Dollar erhöhen.

Auch:Vor der KI breitet sich diese andere Technologiewelle schnell aus

Die Kondorgalaxie ist nach einem kosmologischen System benannt, das 212 Millionen Lichtjahre von der Erde entfernt liegt. In ihrer ursprünglichen Konfiguration, CG-1 genannt, besteht die Maschine aus 32 der speziellen KI-Computer von Cerebras, dem CS-2, deren Chips, die Die „Wafer-Scale-Engine“ oder WSE verfügt insgesamt über 27 Millionen Rechenkerne, 41 Terabyte Speicher und 194 Billionen Bits pro Sekunde Bandbreite. Sie werden von 36.352 EPYC x86-Serverprozessoren von AMD überwacht.

Die Maschine läuft mit 2 Exa-Flops, was bedeutet, dass sie eine Milliarde Gleitkommaoperationen pro Sekunde verarbeiten kann.

The Largeness ist das jüngste Beispiel für Big-ness von Cerebras, das 2016 von erfahrenen Halbleiter- und Netzwerkunternehmern und Innovatoren gegründet wurde. Das Unternehmen überraschte die Welt im Jahr 2019 mit der Vorstellung des WSE, des größten jemals hergestellten Chips, einem Chip, der fast die gesamte Oberfläche eines 12-Zoll-Halbleiterwafers einnimmt. Es ist die WSE-2, 2021 eingeführt, das die CS-2-Maschinen antreibt.

Auch: Das KI-Startup Cerebras feierte den Chip-Triumph, wo andere es versuchten und scheiterten

Die CS-2 im CG-1 werden durch die von Cerebras ergänzt spezieller „Stoff“-Schalter, der Swarm-X und sein dedizierter Speicher-Hub, der Memory-X, die zum Clustern der CS-2s verwendet werden.

Die Behauptung, der größte Supercomputer für KI zu sein, ist etwas übertrieben, da es kein allgemeines Register für die Größe von KI-Computern gibt. Das gängige Maß für Supercomputer, das TOP500-Liste, geführt von der Prometeus GmbH, ist eine Liste konventioneller Supercomputer, die für das sogenannte Hochleistungsrechnen eingesetzt werden.

Diese Maschinen seien nicht vergleichbar, sagte Feldman, weil sie mit der sogenannten 64-Bit-Präzision arbeiteten. wobei jeder Operand, der vom Computer zu bearbeitende Wert, dem Computer durch 64 dargestellt wird Bits. Das Cerebras-System stellt Daten in einer einfacheren Form namens „FP-16“ dar, wobei für jedes System nur 16 Bits verwendet werden.

In 64-Bit-Maschinen der Präzisionsklasse hat Frontier, ein Supercomputer im Oak Ridge National Laboratory des US-Energieministeriums, ist der leistungsstärkste Supercomputer der Welt, mit 1,19 Exa-Flops. Aber es kann nicht direkt mit dem CG-1 mit 2 Exa-Flops verglichen werden, sagte Feldman.

Sicherlich unterscheidet sich die reine Rechenleistung von CG-1 von vielen anderen Computern auf dem Planeten, die man sich vorstellen kann. „Stellen Sie sich einen einzelnen Computer mit mehr Rechenleistung als eine halbe Million Apple MacBooks vor, der zusammenarbeitet, um ein einzelnes Problem in Echtzeit zu lösen“, schlug Feldman vor.

Auch:Diese neue Technologie könnte GPT-4 und alles in dieser Richtung umhauen

Die Condor Galaxy-Maschine befindet sich nicht physisch in Abu Dhabi, sondern ist in den Einrichtungen in Santa Clara, Kalifornien, installiert Farbe, ein Hosting-Anbieter, der auf dem Markt für Cloud-Dienste mit Unternehmen wie Equinix konkurriert. Großhirn hatte bereits im November angekündigt eine Partnerschaft mit Colovore für einen modularen Supercomputer namens „Andromeda“, um große Sprachmodelle zu beschleunigen.

Im Rahmen der mehrjährigen Partnerschaft werde Condor Galaxy bis zur Version CG-9 skaliert, sagte Feldman. Phase 2 der Partnerschaft, die für das vierte Quartal dieses Jahres erwartet wird, wird die Stellfläche des CG-1 verdoppeln auf 64 CS-2 mit insgesamt 54 Millionen Rechenkernen, 82 Terabyte Speicher und 388 Teraflops Bandbreite. Diese Maschine verdoppelt den Durchsatz auf 4 Exa-Flops an Rechenleistung.

Um alles zusammenzufassen, wird Cerebras in Phase 4 der Partnerschaft, die in der zweiten Hälfte des Jahres 2024 umgesetzt werden soll, eine sogenannte „Konstellation“ von neun miteinander verbundenen Geräten aneinanderreihen Systeme, die jeweils mit 4 Exa-Flops laufen, was einer Gesamtkapazität von 36 Exa-Flops entspricht, an Standorten auf der ganzen Welt, um den sogenannten „größten miteinander verbundenen KI-Supercomputer der Welt“ zu schaffen Welt." 

„Dies ist die erste von vier Exa-Flop-Maschinen, die wir für G42 in den USA bauen“, erklärte Feldman, „Und dann sind wir es auch.“ Ich werde weltweit sechs weitere bauen, also insgesamt neun miteinander verbundene Vier-Exa-Flop-Maschinen, die 36 produzieren Exa-Flops.“ 

Auch: Microsoft kündigt auf der Inspire 2023 das Azure AI-Trio an 

Die Maschine ist das erste Mal, dass Cerebras nicht nur ein Cluster-Computersystem aufbaut, sondern es auch für den Kunden betreibt. Die Partnerschaft bietet Cerebras somit mehrere Einnahmemöglichkeiten.

Die Partnerschaft werde sich auf Hunderte Millionen Dollar an Direktverkäufen an G42 durch Cerebras ausweiten, sagte Feldman, während sie die verschiedenen Phasen der Partnerschaft durchlaufe.

„Dieser Vertrag ist nicht nur größer als alle anderen Startups zusammen im Laufe ihrer Laufzeit verkauft haben, sondern er soll auch nicht nur darüber hinaus wachsen „Jetzt sind es hundert Millionen [Dollar], aber zwei- oder dreimal mehr“, sagte er und spielte damit auf konkurrierende KI-Startups an, darunter Samba Nova Systems und Graphcore.

Darüber hinaus „verkaufen wir gemeinsam überschüssige Kapazität über unsere Cloud weiter“, was bedeutet, dass andere Kunden von Cerebras Kapazität in CG-1 mieten können, wenn diese nicht von G42 genutzt wird. Die Partnerschaft „verleiht unserer Cloud natürlich eine völlig neue Dimension“, sagte er, sodass „wir jetzt die Möglichkeit haben, dedizierte KI-Supercomputer als Dienstleistung anzubieten.“

Auch: KI und fortschrittliche Anwendungen belasten die aktuellen Technologieinfrastrukturen

Das heißt, wer Cloud-KI-Rechenkapazität will, kann „für einen Tag, eine Woche, einen Monat, wenn Sie wollen, auf einen der größten Supercomputer der Welt springen“.

Die Ambitionen für KI scheinen genauso groß zu sein wie die Maschine. „In den nächsten 60 Tagen werden wir einige sehr, sehr interessante Modelle bekannt geben, die auf CG-1 trainiert wurden“, sagte Feldman.

G42 ist laut Feldman ein globales Konglomerat mit rund 22.000 Mitarbeitern in 25 Ländern und neun operativen Unternehmen unter seinem Dach. Die G42 Cloud-Tochtergesellschaft des Unternehmens betreibt die größte regionale Cloud im Nahen Osten.

„Die gemeinsame Vision von G42 und Cerebras ist, dass Condor Galaxy zur Lösung der dringendsten Probleme der Gesellschaft eingesetzt wird Herausforderungen in den Bereichen Gesundheitswesen, Energie, Klimaschutz und mehr“, sagte Talal Alkaissi, CEO von G42 Cloud vorbereitete Bemerkungen.

Auch:Nvidia übertrifft die KI-Benchmarks, aber Intel bringt bedeutende Konkurrenz mit

Ein Joint Venture zwischen G42 und der anderen Investmentfirma Mubadala Investments aus Abu Dhabi. Co., M42, ist einer der größten Genomsequenzierer der Welt.

„Sie sind sozusagen Pioniere beim Einsatz von KI und Gesundheitsanwendungen in ganz Europa und im Nahen Osten“, bemerkte Feldman von G42. Das Unternehmen hat in den letzten drei Jahren 300 KI-Publikationen produziert.

„Sie [G42] wollten jemanden, der Erfahrung im Bau sehr großer KI-Supercomputer hatte und der Erfahrung in der Entwicklung und Implementierung großer KI-Modelle hatte, und der „Ich hatte Erfahrung in der Bearbeitung und Verwaltung sehr großer Datensätze“, sagte Feldman. „Und das sind alles Dinge, die wir in den letzten neun Jahren sozusagen wirklich verfeinert haben.“ Monate.“

Die CG-1-Maschinen, betonte Feldman, werden in der Lage sein, auf immer größere neuronale Netzwerkmodelle zu skalieren, ohne dass ein Vielfaches der zusätzlich benötigten Codemenge anfällt.

„Eines der Schlüsselelemente der Technologie besteht darin, dass sie es Kunden wie G42 und deren Kunden ermöglicht, quasi schnell von unseren Maschinen zu profitieren“, sagte Feldman.

Auch: KI wird die Softwareentwicklung massiv verändern

In einer Folienpräsentation betonte er, wie ein neuronales Netzwerk mit 1 Milliarde Parametern wie GPT von OpenAI auf einem einzigen Nvidia-GPU-Chip mit 1.200 Codezeilen umgesetzt werden kann. Aber um das neuronale Netzwerk auf ein 40-Milliarden-Parameter-Modell zu skalieren, das auf 28.415 Nvidia-GPUs läuft, steigt die Menge an Code, die für die Bereitstellung erforderlich ist, auf fast 30.000 Zeilen, sagte Feldman.

Für ein CS-2-System kann jedoch ein 100-Milliarden-Parameter-Modell mit denselben 1.200 Codezeilen ausgeführt werden.

„Wenn Sie ein 40-Milliarden- oder 100-Milliarden-Parameter-Modell oder ein 500-Milliarden-Parameter-Modell erstellen möchten, verwenden Sie genau die gleichen 1.200 Codezeilen“, erklärte Feldman. „Das ist wirklich ein wesentliches Unterscheidungsmerkmal, nämlich dass man das nicht tun muss“, sagte er.

Für Feldman stellt das Ausmaß der neuesten Schöpfung nicht nur Größe an sich dar, sondern ist auch ein Versuch, dies zu erreichen Sie erzielen qualitativ unterschiedliche Ergebnisse, wenn Sie vom größten Chip zum größten Cluster skalieren Systeme.

Auch:MedPerf zielt darauf ab, die medizinische KI zu beschleunigen und gleichzeitig die Privatsphäre der Daten zu wahren

„Wissen Sie, als wir das Unternehmen gründeten, dachten Sie, dass Sie durch den Bau cooler Computer dazu beitragen können, die Welt zu verändern“, überlegte Feldman. „Und im Laufe der letzten sieben Jahre haben wir immer größere Computer gebaut, und zwar einige der größten.“

„Jetzt sind wir auf dem Weg zu bauen, irgendwie unvorstellbar groß, und das ist großartig, durch das Rechenzentrum zu gehen und zu sehen, wie Rack für Rack Ihrer Ausrüstung summt.“