Systèmes de traitement d'images basés sur l'IA dans l'agriculture

Dans le premier épisode de la série de podcasts Eindhoven, Albert Van Breemen, fondateur de VBTI, parle de la révolution que l'apprentissage profond et l'intelligence artificielle apportent à la serre. Le titre de l'épisode 260 du podcast est « Approche IA-robotique-vision pour l'industrie alimentaire ».

Il porte principalement sur un système robotique contrôlé par l'IA pour la coupe des feuilles dans la production de concombres. Albert Van Breemen expliquera également le rôle de l'AI Gym et de la plateforme OneDL dans l'automatisation agricole. La conversation est animée par Robert Weber, fondateur de Pixel Komma Ton.

L'IA et l'apprentissage profond dans l'automatisation des serres

Reconnaître les feuilles, utiliser la robotique : l'IA dans la culture des concombres

Albert Van Breemen explique dans le podcast que la culture des concombres aux Pays-Bas repose fortement sur le travail manuel, en particulier pour couper régulièrement les feuilles à la base de chaque plante. Ce travail est essentiel pour optimiser le rendement et la distribution d'énergie de la plante.

Afin de réduire cette dépendance à la main-d'œuvre, la société VBTI, en collaboration avec la société néerlandaise Cropteq, a développé un système robotique basé sur la vision artificielle par IA. Un facteur décisif dans cette automatisation est la reconnaissance et la différenciation précises des structures végétales. En raison des variations naturelles de la forme des plantes, cela représente un défi majeur.

Reconnaître correctement les feuilles de concombre

Lors de l'élimination des feuilles de concombre, l'IA doit non seulement reconnaître les structures végétales, mais aussi déterminer leur relation les unes par rapport aux autres afin d'éviter que la tige principale ne soit accidentellement coupée. Comme l'explique Albert Van Breemen dans le podcast, ce problème ne peut être résolu par le seul apprentissage profond. Il nécessite une combinaison de modèles d'IA, d'algorithmes heuristiques et d'ingénierie système pour analyser correctement les structures.

Avec le premier modèle de robot coupe-feuilles, la tige principale était mal identifiée une fois sur 100 plantes. Ce taux d'erreur était inacceptable, en particulier avec un objectif de traitement de 1 000 feuilles par heure. En combinant l'apprentissage profond avec des méthodes de recherche traditionnelles, les erreurs de prédiction ont été considérablement réduites et une automatisation beaucoup plus fiable a été mise en place.

L'apprentissage profond comme solution pour une détection précise

Les technologies traditionnelles de traitement d'images ont des difficultés à reconnaître les formes irrégulières. L'apprentissage profond offre une solution prometteuse : en analysant de grands ensembles de données et en entraînant des réseaux neuronaux avec un grand nombre d'images, le système peut identifier avec précision les feuilles et les concombres, même en présence d'écarts.

Cette avancée technologique permet de surmonter les obstacles de longue date dans le domaine de l'automatisation agricole et offre une alternative plus précise et plus efficace au travail manuel.

Robot coupe-feuilles capable de reconnaître les structures végétales

Cependant, le développement de l'automatisation contrôlée par l'IA pour l'agriculture ne se limite pas à l'acquisition de données. Des défis complexes dans les domaines de la perception et du contrôle doivent également être résolus. Van Breemen souligne les difficultés liées au développement d'un robot coupe-feuilles capable de reconnaître avec précision les structures végétales, de déterminer leur position en 3D et de contrôler avec précision les mouvements du robot.

Uniquement les feuilles de concombre ?

Cependant, la technologie robotique ne se limite pas à la culture des concombres. Elle peut également être transférée à d'autres applications agricoles telles que la récolte des tomates ou des poivrons. En personnalisant les données d'entraînement et les actions du robot, le même cadre d'IA peut être appliqué à différents processus agricoles, ce qui en fait une solution évolutive pour l'automatisation dans l'agriculture.

Combinaison de l'apprentissage profond et des algorithmes traditionnels

Approche hybride : IA avec algorithmes traditionnels

Si l'apprentissage profond est excellent pour la reconnaissance d'objets, les algorithmes de recherche traditionnels montrent leurs atouts dans l'analyse structurelle. L'apprentissage profond identifie les nœuds et les tiges des plantes, tandis que les algorithmes heuristiques cartographient leurs connexions et créent un modèle végétal structuré.

Cette approche hybride, qui combine l'IA avec des algorithmes traditionnels, permet une précision de prédiction nettement supérieure et augmente ainsi l'efficacité de l'automatisation dans l'agriculture.

Détection des asperges 2.0 : une précision de 95 % grâce à l'IA

L'un des exemples de travaux de développement de VBTI présentés par Van Breemen dans le podcast est la détection des asperges. Une précision impressionnante de 95 % a été atteinte dans la détection des asperges dans les champs.

Au cours d'une saison de récolte de trois mois, les machines ont collecté plus de quatre millions de points de données, qui ont été utilisés pour améliorer continuellement le modèle. Avec l'élargissement de l'ensemble de données, la précision devrait passer à 98-99 %.

Collecte de données et apprentissage par transfert

Le développement d'un modèle d'IA précis nécessite une collecte de données approfondie. Cependant, comme l'explique Van Breemen dans le podcast, l'apprentissage par transfert permet d'atteindre une grande précision avec des ensembles de données beaucoup plus petits. Au lieu de former un modèle d'apprentissage profond à partir de zéro, ce qui nécessite généralement des millions d'images, VBTI utilise des modèles pré-formés qui ont été initialement développés pour d'autres applications telles que la reconnaissance de véhicules.

En modifiant ces modèles et en les affinant à l'aide de quelques milliers d'images de serres, l'IA a pu être adaptée pour reconnaître les concombres et les structures végétales avec un haut degré de précision.

Pour créer l'ensemble de données requis, le VBTI a capturé manuellement des images à l'aide d'appareils photo portatifs dans les serres. Ces images ont ensuite été annotées, un processus dans lequel des humains marquent des éléments importants tels que les concombres, les feuilles et les tiges. Cet ensemble de données annotées a servi de base à l'entraînement des modèles d'IA et a permis aux algorithmes d'apprentissage profond d'apprendre et de s'améliorer avec une quantité de données beaucoup plus petite que ce qui aurait été nécessaire autrement.

Amélioration de la généralisation des modèles grâce à la variation des données

La puissance des variations de caméra : comment le VBTI rend l'apprentissage profond plus robuste

Les variations des caméras jouent un rôle crucial dans l'entraînement des modèles d'IA. Pendant quatre ans, le VBTI a collecté des données à l'aide de cinq systèmes de caméras différents, chacun offrant un regard unique. Comme l'explique Albert Van Breemen dans le podcast, cette diversité renforce la capacité de généralisation du modèle.

L'apprentissage profond tire énormément profit d'un large éventail de données d'entrée. Ainsi, un modèle qui a été formé avec différentes données de caméra peut mieux s'adapter à des environnements et des conditions d'imagerie variables. Le résultat ? Un modèle plus robuste qui fonctionne de manière fiable dans des applications réelles.

Comment VBTI façonne l'avenir de l'agriculture grâce à une collecte de données innovante

L'un des plus grands défis dans le développement de modèles d'IA est de s'assurer qu'ils fonctionnent également de manière fiable dans de nouveaux environnements. Dans une serre où le système n'a pas encore été testé, il peut régner des conditions qui ne sont pas représentées dans l'ensemble de données d'origine.

Van Breemen souligne dans le podcast combien il est important de commencer avec un ensemble de données initial, même s'il est petit, et d'améliorer continuellement le modèle en intégrant de nouvelles données - un processus connu sous le nom de bootstrapping. Il est encore plus important d'intégrer la collecte de données directement dans les machines.

Par exemple, les robots coupeurs de feuilles de VBTI sont équipés de fonctions qui leur permettent de collecter de nouvelles images de manière autonome. Cette approche innovante réduit le coût de l'acquisition des données à long terme, même si l'étiquetage des données reste un défi et un facteur de coût important.

Surveillance continue des systèmes d'IA

La surveillance et l'adaptation continues des systèmes d'IA sont essentielles pour garantir leur performance à long terme dans l'agriculture. Pour ce faire, VBTI a développé la plateforme OneDL, qui permet d'améliorer régulièrement les modèles grâce à un processus itératif appelé AI Gym.

Cette approche innovante garantit que les modèles d'IA sont toujours alimentés par des données actualisées afin de s'adapter aux conditions agricoles en constante évolution. Les structures végétales et les environnements de culture changeant au fil du temps, une collecte continue de données et une formation régulière sont nécessaires pour maintenir une précision constante dans des tâches telles que la coupe des feuilles de concombre ou la récolte des asperges.

La plateforme OneDL pour une optimisation flexible et précise de l'IA dans l'agriculture

La plateforme OneDL de VBTI joue un rôle central dans la collecte de données, le réapprentissage des modèles d'IA et leur adaptation à différents environnements agricoles. Elle permet d'expérimenter et de comparer des modèles, car les performances d'un modèle dépendent fortement de l'ensemble de données sous-jacent.

Grâce à la prise en charge de divers cadres d'apprentissage profond et à une couche d'abstraction qui simplifie l'intégration, la plateforme offre une solution flexible qui peut être déployée dans le cloud ou sur site, selon les besoins. Elle fonctionne avec différents types de caméras, notamment les caméras RVB, RVBD et hyperspectrales, et prend en charge les modèles au format ONNX, ce qui la rend idéale pour diverses solutions matérielles.

De cette manière, la plateforme OneDL garantit que les modèles d'IA sont toujours à jour et peuvent être adaptés de manière flexible aux exigences changeantes de l'agriculture.

Développer les capacités de l'IA : nouvelles approches et développements futurs dans l'agriculture

À mesure que l'automatisation des serres basée sur l'IA progresse, les chercheurs recherchent des moyens innovants pour accroître l'efficacité et réduire la dépendance à la saisie manuelle des données. Une approche prometteuse consiste à utiliser des modèles d'IA de base qui permettent une reconnaissance précise des objets avec un minimum de données étiquetées.

Bien que ces modèles soient souvent trop volumineux pour les systèmes embarqués, ils servent de point de départ au développement de solutions plus petites et plus efficaces, spécialement adaptées aux tâches agricoles.

VBTI étend ses capacités en matière d'IA pour une automatisation encore plus efficace

Une autre tendance intéressante est l'importance croissante de l'IA générative. Ces technologies pourraient réduire considérablement l'effort et le coût de l'étiquetage des images, ce qui permettrait une automatisation encore plus rapide et plus rentable. Dans le podcast, Albert Van Breemen explique que VBTI prévoit d'étendre ses capacités en matière d'IA au-delà de la vision par ordinateur* et d'intégrer l'analyse des données chronologiques.

Si VBTI se concentre actuellement sur l'automatisation basée sur la vision, ces développements en cours ouvrent de nouvelles possibilités pour rendre l'avenir de la technologie agricole encore plus efficace et innovant.

* La vision industrielle est une application spécialisée de la vision par ordinateur dans l'automatisation industrielle, tandis que la vision par ordinateur en général englobe le traitement et l'analyse d'images et de vidéos à l'aide de l'intelligence artificielle.

À propos d'Albert Van Breemen et de VBTI

Albert Van Breemen a étudié l'ingénierie électrique dans les années 1990 et a commencé à travailler sur les réseaux neuronaux à un stade précoce. Il a ensuite obtenu un doctorat en intelligence artificielle et en ingénierie de contrôle. Fort de son expérience en ingénierie électrique et en intelligence artificielle, il a joué un rôle déterminant dans la promotion de l'innovation chez Philips et ASML. M. Van Breemen voit un grand potentiel dans la combinaison de l'apprentissage profond et de l'agriculture, comme en témoigne sa façon visionnaire de penser.

VBTI propose des solutions pour les processus de fabrication automatisés qui sont optimisés grâce à un traitement d'image précis et à une robotique intelligente. L'entreprise se concentre principalement sur l'apprentissage profond et son application dans l'automatisation industrielle. VBTI est spécialisée dans le développement de systèmes de traitement d'images basés sur l'IA pour des applications robotiques.

Le logiciel est développé en Python et fonctionne sur des systèmes embarqués avec des accélérateurs matériels NVIDIA AI afin de fournir des solutions puissantes et efficaces. Basée à Eindhoven, aux Pays-Bas, VBTI travaille avec un logiciel de contrôle de robots basé sur ROS (Robot Operating System) et utilise un protocole spécialement développé pour la communication entre le logiciel de vision et les robots.