Alibaba verspricht dramatische Kostensenkung bei generativer KI

Ist das der nächste DeepSeek-Schock? Mit seinem neuen Open Source-KI-Modell Qwen2.5-Omni-7B lässt Alibaba aufhorchen: Kostenintensiver API-Abfragen an externe Suchmaschinen ersetzt der chinesische Hyperscaler durch ein Simulationsverfahren und verspricht so eine höhere Datenqualität und sinkende Kosten bei LLM-Trainings um 88 Prozent.

Ende März hat Alibaba eine neue Trainingsmethode für große Sprachmodelle (LLMs) entwickelt, mit der sich Suchfunktionen in KI-Systemen nach eigener Aussage deutlich kostengünstiger trainieren lassen. Die Idee dahinter: "Zerosearch" ersetzt API-Abfragen an externe Suchmaschinen durch ein simulationsbasiertes Verfahren. "Trainingskosten sinken um fast 90 Prozent. Zugleich bleibt die Leistungsfähigkeit der Modelle auf hohem Niveau", teilt Alibaba mit.

Beim Datentraining von LLMs geht Alibaba mit seinem auf Open Source basierendem Modell Qwen2.5-Omni-7B einen anderen Weg als bisherige Reinforcement-Learning-Verfahren, die auf Millionen von Suchmaschinenabfragen angewiesen sind und hohe Kosten verursachen. Auch soll die klassische Methode der Abfrage laut Alibaba "qualitativ schwankende Ergebnisse" zeigen – “ein Problem für die Effizienz und Skalierbarkeit des Trainings", so die Chinesen.

Das von Alibaba entwickelte Verfahren geht in zwei Schritten vor: "Zunächst wird ein Sprachmodell durch überwachte Feinabstimmung zu einem retrieval-fähigen System weiterentwickelt. Es kann auf Anfragen hin relevante Dokumente generieren und simuliert damit das Verhalten echter Suchmaschinen. In der anschließenden Reinforcement-Learning-Phase wird der Schwierigkeitsgrad durch ein curriculum-basiertes Rollout-Konzept schrittweise erhöht: Die Qualität der simulierten Dokumente nimmt kontrolliert ab, was das Modell dazu zwingt, seine Relevanzbewertung fortlaufend zu verbessern", beschreibt Alibaba.

Ein mit Zerosearch trainiertes Qwen2.5-7B-Modell habe eine Retrieval-Leistung auf dem Niveau von Google Search erreicht, mit der größere 14B-Version sei die Performance der Google-Suche nicht nur übertroffen, sondern die Trainingskosten "um 88 Prozent" gesenkt worden.

"Meilenstein für die Demokratisierung großskaliger Reinforcement-Learning-Technologien"

Huang Fei, Leiter des Tongyi Natural Language Processing Lab bei Alibaba, spricht von einem "wichtigen Meilenstein", gar von einer "Demokratisierung großskaliger Reinforcement-Learning-Technologien", wenn die dramatisch sinkenden Kosten für generative KI diese Technologie für alle Unternehmen erschwinglich macht. Das setzt freilich voraus, dass diese Technologie auf eine hohe Akzeptanz im Markt stoßen müsste. Anders als US-amerikanischen Hyperscaler und Chiphersteller wie Nvidia, Intel und AMD verfügt Alibaba in Europa noch über kein großes Partnerökosystem. Zudem ist Alibaba ein Anbieter aus China, stößt damit wie die US-amerikanische Konkurrenz auf Vorbehalte, weil in der EU das Thema Datensouveränität eine große Rolle spielt.

Alibaba jedenfalls sieht sich mit Qwen, seiner 2023 vorgestellten KI-Plattform, unter den führenden LLM-Anbietern weltweit. Über 200 generative KI-Modelle hat Alibaba als Open Source und damit mit frei verfügbarem Quellcode veröffentlicht. Damit folgt Alibaba dem ebenfalls aus China stammendem KI-Startup DeepSeek.

DeepSeek-Schock im Januar 2025

Dieses hatte im Januar dieses Jahres sein ebenfalls auf Open Source basierendes KI-Modell, R1, vorgestellt und wie Alibaba eine massive Kostensenkung für generative KI angekündigt. DeepSeek wurde damit schlagartig bekannt, denn die Ankündigung von R1 sorgte für massive Kursverluste US-amerikanischer Technologieunternehmen an der Börse, allen voran Nvidia. Der Wert des Chipherstellers brach regelrecht ein – um unglaubliche 589 Mrd. Dollar Marktkapitalisierung an einem Tag. Es war der höchste Tagesverlust eines Unternehmens in der Geschichte der Wall Street.

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden