Databricks: Partnerschaft mit Nvidia soll Generative KI-Projekte beschleunigen

Projekte für generative KI in wenigen Wochen zu realisieren, das ist das Ziel von Partnerschaften zwischen Technologiekonzernen. Fast immer ist Nvidia im Spiel, so auch bei Databricks, die in ihre Data Intelligence Platform Nvidia Cuda integiert.

Training klassischer ML-Modelle, Aufbau und Bereitstellung generativer KI-Anwendungen oder Optimierung digitaler Zwillinge: Bei allen diesen Anwendungen hilft die Databricks Data Intelligence Platform, in die nun Nvidia Cuda integriert wird. So sollen Daten- und KI-Workloads erheblich beschleunigt werden. Im Idealfall lassen ich Effizienz, Genauigkeit und Leistung von KI-Entwicklungspipelines für moderne KI-Fabriken steigern, die sich aus den eignen Daten von Kunden speisen.

Darauf zielt die erweiterte Partnerschaft von Databricks und Nvidia ab. "Wir sind begeistert, dass wir unsere Partnerschaft mit Nvidia weiter ausbauen können, um das Versprechen von Datenintelligenz für unsere Kunden einzulösen - von analytischen Anwendungsfällen bis hin zu KI", sagt Ali Ghodsi, Mitbegründer und CEO von Databricks.

Sein Unternehmen bezeichnet der CEO als "Pionier groß angelegter Datenverarbeitung". Insofern kennt er die enormen Herausforderungen, den riesigen Strombedarf zu senken, der beim Betrieb generativer KI in den Rechenzentren nötig ist. "Die Reduzierung des Energiebedarfs für die Datenverarbeitung durch beschleunigtes Computing ist für nachhaltige KI-Plattformen unerlässlich", betont Nvidia-CEO Jensen Huang auch im Zusammenhang mit der nun vertieften Partnerschaft.

Mehr Preis/Leistung mit Photon und Nvidia

Databricks plant die Entwicklung nativer Unterstützung für Nvidia-beschleunigtes Computing in Databricks' vektorisierter Abfrage-Engine der nächsten Generation, Photon, um die Geschwindigkeit und Effizienz von Data-Warehousing- und Analyse-Workloads der Kunden zu verbessern.

Photon treibt Databricks SQL an - Databricks' serverloses Data Warehouse. Der Anbieter reklamiert für sich, branchenführend bei Preisleistung und Total Cost of Ownership (TCO) zu sein. Databricks und Nvidia wollen hier noch nachlegen, zu einer "neuen Dimension der Preis-Leistung" kommen.

Generative KI-Fabriken mit Nvidia NIM

Auf der Messe Computex wurde das Open-Source-Modell DBRX von Databricks als Nvidia NIM-Microservice verfügbar gemacht. Nvidia NIM sind standardisierte Inferenz-Microservices, die vollständig optimierte, vorgefertigte Container zur Verfügung stellen. Sie lassen sich überall einsetzen, versprechen, die Produktivität von Unternehmensentwicklern drastisch zu erhöhen.

DBRX nutzt alle Tools und Techniken, die Kunden und Partnern von Databricks zur Verfügung stehen. Es wurde mit NVIDIA DGX Cloud, einer skalierbaren End-to-End-KI-Plattform für Entwickler, trainiert. Unternehmen können DBRX mit Unternehmensdaten anpassen, um organisationsspezifische Modelle zu erstellen oder als Referenzarchitektur nutzen, um von Grund auf benutzerdefinierte DBRX-ähnliche Mixture-of-Expert-Modelle (MoE) zu erstellen.

Mit dem datenzentrierten Ansatz von Databricks Mosaic AI für generative KI sollen Kunden von einer offenen, flexiblen Plattform zur einfachen Skalierung generativer KI-Anwendungen auf ihren eigenen Daten profitieren.

Wachstum 50 Prozent auf 1,6 Mrd. US-Dollar

Die steigende Nachfrage nach Daten- und KI-Funktionen kommt Databricks zugute. Der Hersteller mit Hauptsitz in San Francisco und weltweiten Niederlassungen hatte im vergangenen Geschäftsjahr (Ende Januar 2024) einen Umsatz von rund 1,6 Mrd. US-Dollar erzielt – ein Plus von 50 Prozent im Vergleich zum Vorjahr.