Viele Arten von Pflanzen und Pflanzen werden immer noch nur von Hand gesammelt.
Ingenieure der Universität von Cambridge (Großbritannien) erstellten einen funktionierenden Prototyp eines Roboter-Harvesters, der intakte, schneidfertige Salatköpfe unabhängig erkennen sowie genau verarbeiten und sammeln kann.
Um eine gute Ernte im automatischen Modus zu sammeln, müssen Sie mehrere komplexe technologische Probleme lösen, wie z.
- genaue und korrekte Positionierung am Sammelplatz, Synchronisation der Aktionen mit anderen Sammlern;
- Analyse und Auswahl der richtigen Algorithmen zur Verwendung mit verschiedenen Kulturen;
- Erkennung gereifter Früchte (Blätter, Beeren);
- Entsorgung beschädigter oder nicht gekeimter Elemente;
- Genaue Erfassung und Schnitt von erntefertigen Pflanzen ohne Beschädigung;
- Sortieren und Stapeln der Ernte;
- Aktionsprotokollierung und Selbstlernfähigkeit;
- Überprüfung der Richtigkeit der aktuellen Maßnahmen und Minimierung der Schäden an der Sammelstelle.
Darüber hinaus ist es notwendig, alle diese Aufgaben mit hoher Geschwindigkeit und unter sich ständig ändernden Bedingungen der umgebenden Welt (Wind, Regen, Insekten, Tiere usw.) auszuführen.
Eine Gruppe von Ingenieuren an der Universität von Cambridge hat einige dieser Probleme erfolgreich gelöst und ihre Forschungsergebnisse in dieser Arbeit veröffentlicht:
Link zu einem wissenschaftlichen Artikel im
Journal of Field Robotics .
Sie erstellten einen kleinen und bislang kleinen autonomen Prototyp eines unabhängigen Roboter-Harvester, der in der Lage war, die richtigen Elemente für die Ernte zu analysieren und auszuwählen.
Dieser Roboter-Assembler ist ein Manipulator auf einer Plattform mit Rädern und einer Breite von einem Bett. Der Manipulator ist mit einem Griff, einem Messer zum Schneiden und einer Videokamera ausgestattet. Eine zusätzliche Videokamera befindet sich oben auf der Plattform.
Da dies nur ein Prototyp ist, der für den Masseneinsatz sowohl elementar als auch funktional erheblich verbessert wird, installierten die Ingenieure einfach alle Roboterkomponenten, die sie für Feldtests benötigten, auf einer vom Bediener manuell bewegten Plattform mit passiven Rädern.
Ihre Aufgabe war es, dem Roboter beizubringen, den Ernteprozess zu verstehen und seine Aktionen durch maschinelles Lernen zu automatisieren.
Nachdem sich der Roboter über den neuen Salatköpfen befindet, wird der Prozess der Erkennung und Klassifizierung von Salatköpfen mithilfe von Videokameras und neuronalen Netzen aktiviert.
Bilder von Videokameras auf dem Manipulator und der Plattform wurden verwendet für:
- Lokalisierung von Salatköpfen vor der Videokamera - unter Verwendung des Faltungsnetzwerks YOLO Version 3, für dessen Training 1.500 Fotografien verwendet wurden;
- Klassifizierung der Kopfsalate nach vier Typen (gereiftes Element, nicht gereiftes Element, infiziertes / beschädigtes Element, fehlendes Element) unter Verwendung des Faltungsnetzwerks des Darknet Object Classification Network, für dessen Training 665 Fotografien verwendet wurden.
Feldversuche mit dem Montageroboter haben gezeigt, dass er in der Lage ist:
- Identifizieren Sie die vor Ihnen liegenden Salatköpfe mit einer Genauigkeit von 91%.
- Salatköpfe mit einer Genauigkeit von 85% richtig klassifizieren.
- Die Zeit eines Arbeitszyklus (der Übergang von einem Kopfsalat zum anderen) beträgt 32 Sekunden, was viel ist, aber dieser Moment wird noch abgeschlossen sein.
Es stellt sich heraus, dass die Beete selbst sehr überwachsen sind und die Keimung von Salatköpfen nur sehr schwer zu lokalisieren und zu klassifizieren ist:
Daher wird der Salat manuell schnell entfernt, jedoch alle in einer Reihe ohne besondere und sorgfältige Auswahl:
Und es ist schwierig, mit einem Reinigungsroboter eine kleine Plattform zu schaffen, da das Gerät beweglich sein, auf lockerem Boden stabil genug auf der Oberfläche bleiben und die Betten mit ihren Komponenten nicht zerstören muss.
Hier sind die Größenbeschränkungen für die Elemente und die Parameter des Prototyp-Montageroboters:
Was geschah als Ergebnis von Feldversuchen nach seiner Montage:
Die Plattform mit dem Roboter hieß
übrigens Vegebot .
Blockschaltbild der Zusammenschaltung der Komponenten der Vegebot-Plattform:
Darüber hinaus sind beide Kameras in dieser Lösung die einfachsten und billigsten USB-Webcams.
Vegebot-Softwareteil (Architektur und Webschnittstelle), der vom Robot Operating System (ROS) verwendet wird:
Vegebot-Arbeitszyklusdiagramme (Training, Erfassungszyklen):
Vorbereitung für Feldversuche, Untersuchung von Beeten und Analyse von Kopfsalaten aus verschiedenen Höhen der Kamera:
Aber was für ein Kordelzug für einen Laptop! Technikbegeisterte im Geschäft!
Eine Tabelle mit verschiedenen Arten von Fotografien zur Lokalisierung von Kopfsalatköpfen vor der Videokamera (zum Trainieren des Faltungs-Neuronalen Netzes YOLO Version 3):
Eine Tabelle mit verschiedenen Arten von Fotos zur Klassifizierung von Kopfsalaten nach vier Arten (gereiftes Element, unreifes Element, infiziertes Element, Mangel an Element) zum Trainieren des Faltungsnetzwerks Darknet Object Classification Network:
Mechanismen und Elemente für Zwischenoptionen Vegebot:
Doppelkopf zum Sammeln von Salatköpfen (Greifer und Messer):
Gleichstrommotor (links), Linearantrieb mit Messermechanismus (rechts):
Pneumatischer Cutter:
Die endgültige Version des Fang- und Erntemechanismus mit Riemenantrieb und doppeltem pneumatischem Antriebssystem:
Merkmale und Abmessungen des Vegebot-Greifers:
Das Funktionsprinzip des Fangmechanismus Vegebot (T - Kraftschwelle, FR - Bodenreaktionskräfte):
Positionieren des Vegebot-Erfassungsmechanismus mit zwei integrierten Kameras:
Kompensation externer Beleuchtungsfaktoren und Bildparameter von Videokameras zur optimalen Lokalisierung von Salatköpfen:
Beispiele für die Lokalisierung (Erkennung) von Salatköpfen auf Bildern von Videokameras in unterschiedlichen Höhen und Winkeln:
Erhaltene Felddaten zur Lokalisierung (Erkennung) von Salatköpfen mit Vegebot (basierend auf 60 Versuchen von Vegebot, einen Salatkopf zu erkennen):
Bildparameter und eine Matrix zur Klassifizierung von Salatköpfen:
Betriebszeit und Flugbahnen des Vegebot-Erfassungsmechanismus:
Bei der Durchführung von Feldversuchen gab es ein Problem bei der Bestimmung der Anzahl unnötiger (hervorstehender) Blätter auf einem Kopfsalat nach dem Sammeln, die entfernt werden müssen.
Hier sind einige Optionen: ein perfekt ausgeschnittener Kopfsalat ohne herausklebende Blätter, ein Kopfsalat mit einem hervorstehenden Blatt, ein Kopfsalat mit zwei hervorstehenden Blättern, ein Kopfsalat mit beschädigten Blättern.
Abhängig von der Menge der überschüssigen Blätter auf dem Kopf des Salats und der Notwendigkeit, diese zu erkennen und zu entfernen, ändert sich auch der Vegebot-Arbeitszyklus:
Vegebot Harvesting Robot Prototype Field Summen Zusammenfassung:
Natürlich ist dieser Prototyp noch weit von der industriellen landwirtschaftlichen Nutzung entfernt, aber dies ist erst der Beginn der Forschung.