Quand les modèles d’IA deviennent trop grands : pourquoi l’efficacité MoE compte

À mesure que les modèles d’IA gagnent en complexité, le défi ne réside plus seulement dans leurs capacités, mais aussi dans la quantité de matériel nécessaire à leur fonctionnement. Nota AI mène des recherches visant à réduire les besoins en mémoire et en GPU des modèles de type « Mixture-of-Experts », une approche qui pourrait également s’avérer cruciale à mesure que le traitement de l’IA se rapproche de plus en plus des appareils connectés.

Brève introduction au modèle « Mixture-of-Experts »

Les grands modèles linguistiques contiennent généralement des milliards de paramètres qui doivent être stockés et traités. Le « Mixture-of-Experts », ou MoE, adopte une approche différente : au lieu d’utiliser l’intégralité du modèle pour chaque entrée, l’architecture comprend plusieurs sections spécialisées, appelées «experts».

Pour chaque token d’entrée, un mécanisme de routage décide lequel de ces «experts» doit être activé. Seul un sous-ensemble effectue le calcul proprement dit. En termes simples, le modèle tente d’envoyer chaque tâche aux parties les mieux adaptées pour la traiter.

Cela permet de réduire la charge de calcul nécessaire à une inférence. Il existe toutefois une limitation importante : bien que seuls certains experts soient actifs à un moment donné, le modèle complet doit tout de même être disponible en mémoire. Les très grands modèles MoE peuvent donc continuer à nécessiter des ressources GPU et de mémoire considérables.

La quantification réduit les besoins en matériel

La quantification est une méthode permettant de réduire cet encombrement. Au lieu de représenter les paramètres du modèle avec une précision numérique relativement élevée, ceux-ci sont stockés en utilisant moins de bits, par exemple 4 bits, voire 3 bits.

Cela peut réduire considérablement les besoins en mémoire et rendre l’inférence plus efficace. Mais avec les modèles MoE, une petite variation numérique peut avoir un effet exceptionnellement important.

La raison réside dans le mécanisme de routage. Si la quantification modifie légèrement les scores utilisés pour sélectionner un expert, le modèle peut choisir un expert différent de celui qu’il aurait sélectionné avant la quantification. Il peut en résulter un chemin de traitement différent et, potentiellement, une réponse différente.

Nota AI s’attaque au problème du routage

Nota AI a développé deux approches pour résoudre ce problème. Toutes deux ont été acceptées pour l’EMNLP 2026, une conférence internationale sur le traitement du langage naturel.

La première méthode, MENDS-MoE, est conçue pour préserver le classement des experts lors de la quantification, en particulier lorsque plusieurs experts présentent des scores de routage très similaires. Selon Nota AI, des expériences menées avec une quantification à 4 bits et à 3 bits sur trois modèles MoE ont permis d’obtenir une précision moyenne plus élevée et de meilleures performances du modèle linguistique que les méthodes de comparaison évaluées dans la plupart des scénarios.

La deuxième approche, OPERA, concentre l’optimisation sur les changements dans la sélection des experts qui affectent réellement la sortie finale du modèle. Au lieu de corriger chaque différence de routage, la méthode tente de concentrer les ressources sur les différences qui ont une incidence sur la qualité des réponses.

Ensemble, ces deux approches répondent à une question centrale concernant le MoE : dans quelle mesure un grand modèle peut-il être compressé avant que les gains d’efficacité ne commencent à modifier les décisions prises au sein du modèle ?

Quel est le rapport avec l’IoT sans fil ?

À première vue, la recherche sur les modèles linguistiques à un trillion de paramètres et les clusters de GPU semble très éloignée de la RFID, du Bluetooth, des réseaux LPWAN ou des réseaux de capteurs sans fil.

Le lien direct est en effet limité. Les travaux actuels de Nota AI ciblent principalement les grands modèles d’IA et les infrastructures d’IA basées sur des GPU, et non les minuscules capteurs IoT alimentés par batterie.

Le défi sous-jacent est toutefois tout à fait pertinent pour l’IoT sans fil : rapprocher l’intelligence de l’endroit où les données sont générées nécessite des modèles d’IA capables de fonctionner avec des ressources limitées en termes de puissance de calcul, de mémoire et d’énergie.

Les systèmes d’IoT sans fil génèrent de plus en plus de données au niveau des capteurs, des machines, des passerelles et des ordinateurs périphériques. L’envoi de chaque point de données vers un cloud central n’est pas toujours souhaitable en raison des contraintes liées à la latence, à la bande passante, à la connectivité, au coût ou aux exigences en matière de gouvernance des données. Un traitement plus local peut donc s’avérer intéressant.

Plus les modèles d’IA deviennent petits et efficaces, plus les concepteurs de systèmes disposent d’options pour répartir l’intelligence entre le cloud, le centre de données, le serveur en périphérie et la passerelle.

La quantification, l’élagage et d’autres techniques d’optimisation des modèles s’inscrivent ainsi dans le débat plus large sur l’IA en périphérie. Les recherches sur le MoE présentées par Nota AI se situent à l’extrémité la plus ambitieuse de ce spectre, mais l’objectif technique est familier dans le domaine de l’IoT : obtenir des calculs utiles avec moins de ressources.

De 24 GPU à quatre

Nota AI applique également sa technologie d’optimisation au déploiement de modèles de grande envergure. Selon l’entreprise, cela a permis de faire fonctionner le modèle Qwen3.8-Max, comptant plus d’un billion de paramètres, sur quatre GPU NVIDIA B300, contre 24 GPU dans la configuration d’origine.

L’entreprise indique également faire tourner le modèle Kimi K3 de Moonshot AI sur quatre GPU B300 au lieu de huit, et Solar Open 2 d’Upstage sur deux GPU NVIDIA H100 au lieu de huit.

Plus tôt en 2026, Nota AI s’est classée troisième parmi une quarantaine d’équipes lors du concours « Efficient Qwen » organisé dans le cadre de l’atelier AdaptFM de l’ICML. En utilisant Qwen3.5-4B sur un seul GPU NVIDIA A10G, l’entreprise fait état d’un gain de vitesse d’inférence moyen de 6,978 fois par rapport à la référence, tout en conservant les performances du modèle.

L’efficacité s’intègre désormais à l’architecture de l’IA

L’importance pour les architectures industrielles et de l’IoT dépasse le cadre de n’importe quel benchmark individuel. À mesure que l’IA devient une couche de traitement à part entière, au même titre que la détection, la connectivité et l’infrastructure cloud, les ressources nécessaires à l’exécution des modèles deviennent un enjeu architectural.

Pour l’IoT sans fil, cela ne signifie pas que des modèles comportant des milliers de milliards de paramètres vont soudainement s’exécuter au sein même des capteurs. Cela signifie que la question, déjà bien connue dans le domaine des systèmes embarqués, s’étend désormais au cœur de l’IA : quelle quantité d’intelligence peut-on fournir avec la mémoire, la puissance de calcul et l’énergie disponibles ?

L’optimisation par « mélange d’experts » (Mixture-of-Experts) est un exemple illustrant la manière dont les chercheurs tentent de répondre à cette question.