SK Hynix und Nvidia entwickeln SSDs für KI-Anwendungen

Eine neue Klasse von speziell auf KI-Workloads zugeschnittenen SSDs soll in Zusammenarbeit mit Nvidias Rubin CPX-GPUs Inferenz-Leistungen von bis zu 100 Millionen IOPS ermöglichen. Ein erster Prototyp könnte schon im nächsten Jahr vorgestellt werden.

Nvidia arbeitet gemeinsam mit SK Hynix daran, einen Flaschenhals zu beseitigen, der bislang noch viele KI-Projekte ausbremst: den lokalen Speicher. Der koreanische Speicherspezialist, der zu den drei größten Flash-Herstellern der Welt zählt, und der bei KI-Hardware führende GPU-Experte entwickeln zusammen eine neue Generation von SSDs, die speziell für die Anforderungen in KI-Umgebungen gedacht ist. Erste Informationen zu dem Projekt hat der Vizepräsident von SK Hynix, Kim Cheon-seong, laut koreanischen Medienberichten jetzt bei einer Messe in Seoul genannt.

Demnach sollen die ersten der neuen SSDs hinsichtlich der Inferenz in etwa die zehnfache Leistung aktuell auf dem Markt befindlicher SSDs bieten. Bis 2027 wollen die beiden Unternehmen mit den KI-SSDs sogar bis zu 100 Millionen IOPS erreichen. Zum Vergleich: Die schnellsten aktuell verfügbaren SSDs liegen bei etwa 50.915 IOPS. Aktuell befindet sich das bei Nvidia unter "Storage Next" und bei SK Hynix unter "AIN" (AI NAND) laufende Projekt auf dem Weg zum Proof-of-Concept. Mit einem ersten Prototyp rechnet Cheon-seong noch im nächsten Jahr. SK Hynix plant nach eigenen Angaben drei verschiedene Modellreihen mit Optimierung für Performance (AIN P), Speicherdichte (AIN D) und Bandbreite (AIN B).

Solche hoch performanten SSDs werden künftig eine wichtige Rolle bei der Inferenz spielen. Sie müssen dafür sorgen, dass gigantische Datenmengen deutlich schneller zur GPU gelangen, um Stillstände und niedrige Auslastung der teuren Hardware zu vermeiden. Ein Problem, dass sich derzeit im Gleichschritt mit der rasanten Weiterentwicklung der GPUs vergrößert. So wird etwa Nvidias nächstes Jahr auf den Markt kommende Rubin CPX AI GPU über 128 GB GDDR7-Speicher verfügen und soll hochwertige Inferenz-Workloads mit Millionen von Token-Codierungen verarbeiten. Fähigkeiten, die gerade bei hoch anspruchsvollen KI-Aufgaben wie generativen Videoanwendungen gefragt sind.

Neuer Standard: HBF

Um die SSD-Performance entsprechend zu steigern, setzen die beiden Konzerne auf eine ähnliche Idee wie beim High Badwith Memory (HBM), das in den letzten Monaten bereits das Lernen der Modelle deutlich beschleunigt hat. Beim HBM werden vereinfacht gesagt mehrere DRAM-Chips gestapelt, um die Bandbreite massiv zu erhöhen und so das Potenzial der GPUs voll ausschöpfen zu können. Da die volatilen Speicherchips allerdings für Inferenzen nicht geeignet sind, setzen die beiden Partner hier auf die Stapelung nicht-volatiler NAND-Chips zu High Bandwidth Flash (HBF). Ein Bereich, in dem auch SanDisk bereits aktiv ist und mit SK Hynix und anderen Herstellern daran arbeitet, feste Standards zu definieren.

Auf eine Anfrage von CRN hin teilte Nvidia per E-Mail mit, dass das Unternehmen keinen Kommentar abgeben werde. SK hynix reagierte bis zum Zeitpunkt der Veröffentlichung nicht auf eine Anfrage von CRN nach weiteren Informationen.

Dieser Artikel entstand mit Material unserer Kollegen von crn.com

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden