Warum effiziente „Mixture-of-Experts“-Modelle für IoT wichtig sind

Mit zunehmender Größe der KI-Modelle besteht die Herausforderung nicht mehr nur darin, wie leistungsfähig sie sind, sondern auch darin, wie viel Hardware für ihren Betrieb benötigt wird. Nota AI erforscht Möglichkeiten, den Speicher- und GPU-Bedarf von „Mixture-of-Experts“-Modellen zu reduzieren – ein Ansatz, der auch dann an Bedeutung gewinnen könnte, wenn immer mehr KI-Verarbeitungsprozesse näher an vernetzte Geräte verlagert werden.

Ein kurzer Einblick in „Mixture-of-Experts“

Große Sprachmodelle enthalten in der Regel Milliarden von Parametern, die gespeichert und verarbeitet werden müssen. „Mixture-of-Experts“ (MoE) verfolgt einen anderen Ansatz: Anstatt jeden Teil des Modells für jede Eingabe zu nutzen, enthält die Architektur mehrere spezialisierte Abschnitte, die als „Experten“ bezeichnet werden.

Für jedes Eingabetoken entscheidet ein Routing-Mechanismus, welcher dieser „Experten“ aktiviert werden soll. Nur eine Teilmenge führt die eigentliche Berechnung durch. Vereinfacht ausgedrückt versucht das Modell, jede Aufgabe an die Teile weiterzuleiten, die für deren Bearbeitung am besten geeignet sind.

Dadurch lässt sich der Rechenaufwand für eine Inferenz reduzieren. Es gibt jedoch eine wichtige Einschränkung: Obwohl zu jedem Zeitpunkt nur einige Experten aktiv sind, muss das gesamte Modell dennoch im Speicher verfügbar sein. Sehr große MoE-Modelle können daher weiterhin erhebliche GPU- und Speicherressourcen erfordern.

Quantisierung reduziert die Hardwareanforderungen

Eine Methode zur Verringerung dieses Speicherbedarfs ist die Quantisierung. Anstatt Modellparameter mit vergleichsweise hoher numerischer Genauigkeit darzustellen, werden sie mit weniger Bits gespeichert, beispielsweise mit 4 Bit oder sogar 3 Bit.

Dies kann den Speicherbedarf erheblich reduzieren und die Inferenz effizienter gestalten. Bei MoE-Modellen kann jedoch eine kleine numerische Änderung ungewöhnlich große Auswirkungen haben.

Der Grund dafür liegt im Routing-Mechanismus. Wenn die Quantisierung die zur Auswahl eines Experten verwendeten Bewertungen geringfügig verändert, wählt das Modell möglicherweise einen anderen Experten aus, als es vor der Quantisierung getan hätte. Das Ergebnis kann ein anderer Verarbeitungspfad und möglicherweise eine andere Antwort sein.

Nota AI nimmt das Routing-Problem ins Visier

Nota AI hat zwei Ansätze entwickelt, die dieses Problem angehen. Beide wurden für die EMNLP 2026, eine internationale Konferenz für natürliche Sprachverarbeitung, angenommen.

Die erste Methode, MENDS-MoE, zielt darauf ab, die Rangfolge der Experten während der Quantisierung beizubehalten, insbesondere wenn mehrere Experten sehr ähnliche Routing-Scores aufweisen. Laut Nota AI erzielten Experimente mit 4-Bit- und 3-Bit-Quantisierung über drei MoE-Modelle hinweg in den meisten Szenarien eine höhere durchschnittliche Genauigkeit und eine bessere Leistung des Sprachmodells als die evaluierten Vergleichsmethoden.

Der zweite Ansatz, OPERA, konzentriert die Optimierung auf Änderungen bei der Expertenauswahl, die sich tatsächlich auf die endgültige Ausgabe des Modells auswirken. Anstatt jeden Routing-Unterschied zu korrigieren, versucht die Methode, die Ressourcen auf die Unterschiede zu konzentrieren, die für die Antwortqualität von Bedeutung sind.

Zusammen gehen die beiden Ansätze einer zentralen MoE-Frage nach: Wie stark lässt sich ein großes Modell komprimieren, bevor Effizienzgewinne beginnen, die innerhalb des Modells getroffenen Entscheidungen zu beeinflussen?

Was hat das mit dem drahtlosen IoT zu tun?

Auf den ersten Blick scheint die Forschung zu Sprachmodellen mit Billionen von Parametern und GPU-Clustern weit entfernt von RFID, Bluetooth, LPWAN oder drahtlosen Sensornetzwerken zu sein.

Der direkte Zusammenhang ist in der Tat begrenzt. Die aktuelle Arbeit von Nota AI zielt in erster Linie auf große KI-Modelle und GPU-basierte KI-Infrastruktur ab, nicht auf winzige, batteriebetriebene IoT-Sensoren.

Die zugrunde liegende Herausforderung ist jedoch für das drahtlose IoT von großer Relevanz: Um Intelligenz näher an den Ort zu bringen, an dem Daten generiert werden, sind KI-Modelle erforderlich, die innerhalb begrenzter Rechen-, Speicher- und Energiebudgets arbeiten können.

Drahtlose IoT-Systeme generieren zunehmend Daten an Sensoren, Maschinen, Gateways und Edge-Computern. Das Senden jedes einzelnen Datenpunkts an eine zentrale Cloud ist aufgrund von Latenz, Bandbreite, Konnektivität, Kosten oder Anforderungen an die Datenverwaltung nicht immer wünschenswert. Eine stärkere lokale Verarbeitung kann daher attraktiv werden.

Je kleiner und effizienter KI-Modelle werden, desto mehr Optionen haben Systementwickler, um die Intelligenz zwischen Cloud, Rechenzentrum, Edge-Server und Gateway zu verteilen.

Quantisierung, Pruning und andere Techniken zur Modelloptimierung werden folglich Teil der breiteren Diskussion um Edge-KI. Die von Nota AI vorgestellte MoE-Forschung bewegt sich am weitaus größeren Ende dieses Spektrums, doch das technische Ziel ist aus dem IoT bekannt: nützliche Berechnungen mit weniger Ressourcen zu erzielen.

Von 24 GPUs auf vier

Nota AI wendet seine Optimierungstechnologie auch auf den Einsatz großer Modelle an. Nach Angaben des Unternehmens ermöglichte dies den Betrieb des Modells Qwen3.8-Max mit mehr als einer Billion Parametern auf vier NVIDIA B300-GPUs, verglichen mit 24 GPUs in der ursprünglichen Konfiguration.

Das Unternehmen berichtet zudem, dass es „Kimi K3“ von Moonshot AI auf vier B300-GPUs statt auf acht und „Solar Open 2“ von Upstage auf zwei NVIDIA H100-GPUs statt auf acht ausführt.

Anfang 2026 belegte Nota AI beim „Efficient Qwen Competition“-Wettbewerb im Rahmen des ICML AdaptFM-Workshops den dritten Platz unter rund 40 Teams. Bei Verwendung von „Qwen3.5-4B“ auf einer einzigen NVIDIA A10G-GPU meldet das Unternehmen eine durchschnittliche Beschleunigung der Inferenz um das 6,978-Fache gegenüber dem Basiszustand bei gleichbleibender Modellleistung.

Effizienz wird Teil der KI-Architektur

Die Bedeutung für Industrie- und IoT-Architekturen geht über einzelne Benchmarks hinaus. Wenn KI neben Sensorik, Konnektivität und Cloud-Infrastruktur zu einer weiteren Verarbeitungsebene wird, werden auch die für den Betrieb der Modelle benötigten Ressourcen zu einer architektonischen Frage.

Für Wireless IoT bedeutet das nicht, dass künftig Modelle mit Billionen Parametern direkt in Sensoren laufen werden. Es bedeutet vielmehr, dass eine aus Embedded-Systemen bekannte Frage immer tiefer in die KI-Welt hineinreicht: Wie viel Intelligenz lässt sich mit dem verfügbaren Speicher, der vorhandenen Rechenleistung und der verfügbaren Energie realisieren?

Die Optimierung von Mixture-of-Experts-Modellen ist ein Beispiel dafür, wie die Forschung versucht, diese Frage zu beantworten.