KI-Architektur: Deep-Learning mit NetApp und Nvidia

NetApp und Nvidia stellen eine KI-Architektur vor, mit der sich Daten schnell und effizient sammeln, verarbeiten und übertragen lassen sollen. Außerdem sei die Lösung leicht zu skalieren, so der Hersteller.

(Foto: archy13 - Fotolia)

Bei der künstlichen Intelligenz geht es nicht nur um Algorithmen. Die Daten, auf denen sie trainiert werden, sind wichtiger als die Modelle selbst. Das ist einer der Gründe, warum IDC voraussagt, dass bis 2020 mehr als 44 Zettabyte an digitalen Daten erzeugt werden. Glücklicherweise fiel der Anstieg großer Datenmengen mit einem Rückgang der Preise für Cloudspeicher zusammen. Aber nicht alle Cloud-Storage-Anbieter sind gleich. Einige verfügen nicht über die erforderlichen feinkörnigen Management-Tools, um KI-Modelldaten schnell und effizient zu sammeln, zu verarbeiten und zu übertragen. Und nicht alle Unternehmen verfügen über Storage-Stacks, die für datenwissenschaftliche Workflows optimiert sind.

Nvidia und das Datenspeicherunternehmen NetApp haben gemeinsam eine Lösung angekündigt: Ontap KI, basierend auf Nvidias DGX-Supercomputern und NetApps AFF A800-Cloud-Connected-Flash-Storage. Das Herzstück von Ontap KI ist Nvidias DGX-1, ein KI-Supercomputer, der für Deep Learning optimiert ist. Der DGX-1 bietet bis zu 256B GPU-RAM und acht Tesla V100s Tensor Core GPUs. Eine einzige DGX-1 liefert 1 Petaflop Rechenleistung. Die bereits AFF A800s von NetApp erreichen eine Latenz von unter 200 Mikrosekunden und einen Durchsatz von bis zu 300 GB/s in einem Cluster mit 24 Knoten.

Für die Gewinnung eines Mehrwerts aus KI-Projekten ist den Experten zufolge eine lückenlose Kontrolle und Sichtbarkeit zwischen Entstehungsort, dem Rechenzentrum und der Cloud ein wichtiger Faktor. Die nun veröffentlichte Architektur soll vor allem die Datenpipeline für Deep-Learning-Prozesse beschleunigen. Die Lösung sei sehr gut skalierbar, verspricht der Hersteller. Außerdem soll die Architektur dank redundanter Speicherung sowie Netzwerk- und Serveranbindung hochverfügbar sein.