Un agro-robot avec l'IA a appris à ramasser soigneusement uniquement la salade mûrie du jardin

De nombreux types de plantes et de cultures ne sont encore récoltés qu'à la main.

Des ingénieurs de l'Université de Cambridge (Grande-Bretagne) ont créé un prototype fonctionnel d'une récolteuse robotique qui peut reconnaître indépendamment les têtes de laitue intactes prêtes à être coupées, ainsi que les traiter et les collecter avec précision.


Pour collecter une bonne récolte en mode automatique, vous devez résoudre plusieurs problèmes technologiques complexes, tels que:

- positionnement précis et correct sur le lieu de rassemblement, synchronisation des actions avec les autres collecteurs;

- analyse et sélection des bons algorithmes à utiliser avec différentes cultures;

- reconnaissance des fruits mûrs (feuilles, baies);

- élimination des éléments endommagés ou non germés;

- Capture et coupe précises des cultures prêtes à être récoltées sans dommages;

- tri et empilage de la récolte récoltée;

- enregistrement des actions et capacité d'auto-apprentissage;

- vérifier l'exactitude des actions en cours et minimiser les dommages sur le site de collecte.

De plus, il est nécessaire d'effectuer toutes ces tâches à grande vitesse et dans des conditions réelles en constante évolution du monde environnant (vent, pluie, insectes, animaux, etc.).

Un groupe d'ingénieurs de l'Université de Cambridge a réussi à résoudre certains de ces problèmes et a publié ses recherches dans cet ouvrage:

Lien vers un article scientifique dans le Journal of Field Robotics .

Ils ont créé un petit et jusqu'à présent petit prototype autonome d'un robot-moissonneuse indépendant, capable d'analyser et de choisir les bons éléments pour la récolte.

Ce robot-assembleur est un manipulateur sur une plate-forme à roues d'une largeur d'un lit. Le manipulateur est équipé d'une poignée, d'un couteau pour couper et d'une caméra vidéo, une caméra vidéo supplémentaire est située en haut de sa plateforme.

Puisqu'il ne s'agit que d'un prototype qui, pour une utilisation de masse, sera considérablement amélioré tant sur le plan élémentaire que fonctionnel, les ingénieurs ont simplement installé tous les composants du robot dont ils avaient besoin pour effectuer des tests sur le terrain sur une plate-forme à roues passive, déplacée manuellement par l'opérateur.

Leur tâche consistait à apprendre au robot à comprendre le processus de récolte et à automatiser ses actions à l'aide de l'apprentissage automatique.

Une fois que le robot a survolé les nouvelles têtes de laitue, le processus de reconnaissance et de classification des têtes de laitue est activé à l'aide de caméras vidéo et de réseaux de neurones.

Les images des caméras vidéo sur le manipulateur et la plate-forme ont été utilisées pour:

- localisation des têtes de laitue devant la caméra vidéo - à l'aide du réseau de neurones convolutifs YOLO version 3, pour la formation duquel 1 500 photographies ont été utilisées;

- classification des têtes de laitue selon quatre types (élément mûri, élément non mûri, élément infecté / endommagé, manque d'élément) à l'aide du réseau de neurones convolutifs Darknet Object Classification Network, pour la formation duquel 665 photographies ont été utilisées.





Les essais sur le terrain du robot d'assemblage ont montré qu'il est capable de:

- identifier les chefs de salade devant vous avec une précision de 91%;

- classer correctement les têtes de laitue avec une précision de 85%.

- le temps d'un cycle de travail (le passage d'une tête de laitue à une autre) est de 32 secondes, ce qui est beaucoup, mais ce moment sera encore finalisé.

Il s'avère que les lits eux-mêmes sont très envahis et la germination des têtes de laitue est très difficile à localiser et à classer:



Par conséquent, la salade est retirée manuellement rapidement, mais tout de suite sans sélection spéciale et minutieuse:



Et il est difficile de créer une petite plate-forme avec un robot nettoyeur, car l'appareil doit être mobile, garder une stabilité suffisante en surface sur un sol meuble et ne pas détruire les lits avec ses composants.

Voici les restrictions de taille pour les éléments et les paramètres du robot d'assemblage prototype:



Que s'est-il passé à la suite des essais sur le terrain après son assemblage:



À propos, la plate-forme avec le robot s'appelait Vegebot .

Schéma fonctionnel de l'interconnexion des composants de la plateforme Vegebot:



De plus, les deux caméras de cette solution sont les webcams USB les plus simples et les moins chères.

Partie logicielle Vegebot (architecture et interface web), utilisée par Robot Operating System (ROS):





Diagrammes de cycle de travail Vegebot (formation, cycles de collecte):



Préparation aux essais sur le terrain, étude des lits et analyse des têtes de laitue à différentes hauteurs de la caméra:



Mais quelle sangle de cordon pour un ordinateur portable! Ingénieur averti en affaires!



Un tableau avec différents types de photographies pour la localisation des têtes de laitue devant la caméra vidéo (pour la formation du réseau de neurones convolutifs YOLO version 3):



Un tableau avec différents types de photos pour classer les têtes de laitue selon quatre types (élément mûri, élément non mûr, élément infecté, manque d'élément) pour la formation du réseau de neurones convolutifs Darknet Object Classification Network:





Mécanismes et éléments d'options intermédiaires Vegebot:



Double tête pour ramasser les têtes de salade (grappin et couteau):



Moteur rotatif DC (gauche), entraînement linéaire avec mécanisme à couteau (droite):



Cutter pneumatique:



La version finale du mécanisme de capture et de récolte avec un entraînement par courroie et un double système d'entraînement pneumatique:



Caractéristiques et dimensions de la pince Vegebot:



Le principe de fonctionnement du mécanisme de capture Vegebot (T - seuil de force, FR - forces de réaction au sol):



Positionnement du mécanisme de capture Vegebot à l'aide de deux caméras embarquées:



Compensation des facteurs d'éclairage externes et des paramètres d'image des caméras vidéo pour une localisation optimale des têtes de laitue:





Exemples de localisation (reconnaissance) de têtes de laitue sur des images de caméras vidéo à différentes hauteurs et à différents angles:







Obtention de données de terrain sur la localisation (reconnaissance) des têtes de laitue à l'aide de Vegebot (sur la base de 60 tentatives de Vegebot pour reconnaître une tête de laitue):



Paramètres d'image et matrice de classification des têtes de laitue:



Temps de fonctionnement et trajectoires du mécanisme de capture Vegebot:



Il y avait un problème dans le processus des essais sur le terrain pour déterminer le nombre de feuilles inutiles (qui dépassent) sur une tête de laitue après la collecte, qui doit être enlevée.

Voici quelques options: une salade de laitue parfaitement découpée sans feuilles collantes, une salade de laitue avec une feuille collante, une salade de laitue avec deux feuilles collantes, une salade de laitue avec des feuilles endommagées.



En fonction de la quantité de feuilles en excès sur la tête de laitue et de la nécessité de les reconnaître et de les retirer, le cycle de service de Vegebot change également:



Résumé des totaux des champs du prototype du robot de récolte Vegebot:



Bien sûr, ce prototype est encore loin d'une utilisation agricole industrielle, mais ce n'est que le début de la recherche.