Présentation d'un modèle de base européen d'IA destiné à l'industrie
Le consortium Soofi a présenté « Soofi S », premier élément d'une famille de modèles d'IA européens. Ce modèle de base ouvert s'adresse à l'industrie, à l'administration et à la recherche, et vise à permettre une exploitation traçable sur une infrastructure propre ou souveraine.
Modèle de base d’IA pour les applications industrielles
Soofi S est conçu comme une base technique pour les applications industrielles d’IA. Contrairement à un modèle de chat généraliste, il doit permettre aux entreprises de développer leurs propres solutions à partir de données internes et de les adapter à des processus, des corpus de documents ou des environnements logiciels spécifiques.
Parmi les domaines d’application prévus figurent les processus industriels, l’analyse de documents techniques et réglementaires volumineux, la génération de code de programmation ainsi que les systèmes d’IA basés sur des agents.
Le modèle est dans un premier temps publié en tant que modèle de base et peut être affiné pour des secteurs d’activité, des domaines spécialisés ou des tâches spécifiques à une entreprise. Des variantes réentraînées pour des applications de dialogue et d’agents devraient suivre.
30 milliards de paramètres et une architecture hybride
Selon les informations fournies par le consortium, le modèle a été entraîné à partir de zéro avec 27 billions de tokens. Il repose sur une architecture « Mixture of Experts » comptant 30 milliards de paramètres et 3 milliards de paramètres activés simultanément, désignée sous le nom de 30B-A3B.
Sur le plan technique, Soofi S combine des composants Transformer, qui analysent les relations entre des passages de texte, avec des composants Mamba, qui traitent efficacement de longues séquences grâce à un état interne compact. Cette architecture hybride est censée permettre un débit de données élevé pour une consommation d’énergie relativement faible. L’entraînement s’est principalement concentré sur des textes en anglais et en allemand.
Selon le consortium du projet, les premiers résultats des tests de performance montrent que Soofi S est capable de rivaliser avec des modèles ouverts de taille comparable pour les tâches en anglais. Dans les tests de performance en allemand examinés, le modèle aurait obtenu les meilleurs résultats au sein du groupe de référence.
Une évaluation fiable pour des applications industrielles concrètes dépendra toutefois notamment des données spécifiques au domaine concerné, du réglage fin et de l’infrastructure utilisée.
Entraînement sur une infrastructure cloud européenne
Soofi S et les modèles suivants prévus seront entraînés sur l’Industrial AI Cloud de Deutsche Telekom à Munich. Des GPU NVIDIA Blackwell et des modèles ouverts NVIDIA Nemotron seront utilisés à cette fin.
Le projet est soutenu par le ministère fédéral de l’Économie et de l’Énergie dans le cadre de l’initiative européenne IPCEI-CIS (ou 8ra) et financé par NextGenerationEU. Le consortium est coordonné par l’Association fédérale allemande pour l’IA.
Parmi les participants figurent notamment le Fraunhofer IAIS, le Fraunhofer IIS, le Centre allemand de recherche en intelligence artificielle, l’université Julius-Maximilians de Wurtzbourg, l’université Leibniz de Hanovre, l’université technique de Darmstadt, l’université technique de Berlin, ainsi qu’Ellamind et Merantix Momentum.
Publication prévue des poids des modèles et de la documentation relative à l’entraînement
La traçabilité technique constitue l’un des axes prioritaires du projet. Le consortium prévoit de fournir, outre les poids des modèles, des informations sur la méthodologie d’entraînement, le traitement des données et les pipelines de données utilisés.
Cela revêt une importance particulière pour les entreprises et les organismes publics lorsque des systèmes d’IA doivent être testés, adaptés aux exigences réglementaires ou exploités sur leur propre infrastructure.
Les intégrateurs de systèmes et les fournisseurs de solutions disposent ainsi d’une base potentielle pour développer des applications d’IA spécifiques à leur secteur, sans dépendre entièrement des modèles propriétaires de certains fournisseurs non européens.
Tests pratiques avec des partenaires industriels
Le modèle doit être testé en collaboration avec des entreprises industrielles dans des scénarios d’application réels. L’objectif est de recueillir des expériences issues d’environnements proches de la production et d’orienter le développement ultérieur en fonction des exigences concrètes du monde économique.
Pour les utilisateurs, la fiabilité de l’intégration du modèle dans les architectures de données, les plateformes logicielles et les processus opérationnels existants sera déterminante. Les besoins en ressources pour l’exploitation, la qualité des adaptations spécifiques au domaine ainsi que la disponibilité à long terme de la documentation technique sont tout aussi importants.
De plus amples informations techniques, les mises à jour du projet et les coordonnées pour les projets pilotes sont disponibles sur https://www.soofi.info/.