NXAI bringt energieeffizientestes Large Language Model

Das österreichische KI-Forschungsunternehmen NXAI hat sein neues "xLSTM 7B" Sprachmodell vorgestellt. Das Unternehmen mit Sitz in Linz entwickelt KI-Lösungen für industrielle Anwendungen.

NXAI hat sich vorgenommen, die eigene KI-Forschung in marktreife Systeme zu überführen und eine Brücke zwischen Forschung und Industrie zu schlagen. Das neue pre-trained Modell der Österreicher gehört zur Gruppe der 7B-Modelle. Das sogenannte Nicht-Transformer-Sprachmodell beeindruckt durch seine präzise Vorhersage des nächsten Wortes und die Ergebnisse bei Standard-Benchmarks wie Massive Multitask Language Understanding (MMLU). Das Hauptmerkmal des xLSTM 7B Modells ist seine Geschwindigkeit. Es ist nach Angaben von NXAI effizienter als andere große Sprachmodelle und liefert Ergebnisse mit erheblich weniger Rechenressourcen – in kürzerer Zeit.

Somit will NXAI mit dem xLSTM 7B Modell in Bezug auf Geschwindigkeit und Energieeffizienz neue Maßstäbe setzen. "Unsere Skalierungsvorhersagen aus unserer Arbeit sind eingetreten. Mit dem xLSTM 7B Modell präsentieren wir das beste Large Language Model (LLM), das auf rekurrenten neuronalen Netzen (RNNs) basiert. Es ist das energieeffizienteste Modell in der Welt der Large Language Models mit einer schnellen Inferenz", erklärt Professor Dr. Sepp Hochreiter. Er lehrt an der Johannes Kepler Universität Linz und ist Chief Scientist bei NXAI.

Reges Entwickler-Interesse

Die xLSTM Architektur ist auf GitHub bei NXAI verfügbar, und ein vortrainiertes Modell steht auf Huggingface zum Finetuning bereit. Seit der Erstveröffentlichung der xLSTM-Architektur im Frühjahr dieses Jahres haben bereits zahlreiche Entwickler Lösungen auf Basis dieses Ansatzes vorgestellt. xLSTM ist vor allem im industriellen Bereich gefragt.

"Wir freuen uns, dass viele Menschen die Vorteile unserer Architektur in ihre Produkte integrieren und eigene Anwendungen auf Basis des xLSTM 7B Modells entwickeln können. Besonders KI-Anwendungen im Edge- und Embedded-Bereich profitieren enorm von der hohen Effizienz und Geschwindigkeit unseres Modells. Jeder Forscher weltweit kann das xLSTM 7B Modell für seine Arbeit nutzen. Es ist ein Modell aus Europa für die Welt", betont Hochreiter.

Vor wenigen Tagen empfahl ein Forschungspapier ein Large Recurrent Action Model (LRAM) für die Robotik, das auf xLSTM basiert. Branchenexperten berichten außerdem, dass die Architektur aufgrund ihres längeren und variablen Speichers auch in Mobilitäts-Anwendung Einsatz findet. Ähnliches gilt für die Medizintechnik und Life Science-Applikationen.